AccueilActualités informatiqueMachine Learning : Apache Flink ML 2.0 s'ouvre à Python

Machine Learning : Apache Flink ML 2.0 s’ouvre à Python

L’équipe derrière Apache Flink a publié la version 2.0 d’Apache Flink ML. Il s’agit d’une bibliothèque d’accompagnement à des fins d’apprentissage machine pour le framework de traitement des flux de données. Apache Flink ML propose à la fois des API et une infrastructure permettant de créer des algorithmes Stream-Batch-Unified ML. Ceux-ci doivent être faciles à mettre en œuvre et offrir une latence quasiment en temps réel. La version actuelle devrait contribuer de manière significative à l’extension d’Apache Flink à de nouveaux cas d’utilisation dans le domaine du Machine Learning, notamment les scénarios ML en temps réel.

Sommaire

Dans la deuxième version principale, l’équipe Apache Flink a non seulement effectué un refactoring important de la bibliothèque, mais a également implémenté de nouvelles fonctionnalités : Par exemple, Apache Flink ML permet désormais d’utiliser des étapes (stages) dans un flux de travail ML avec plusieurs entrées et sorties, et donc de créer un graphe acyclique dirigé (DAG) avec des étapes prédéfinies.

Des scénarios d’apprentissage en ligne natifs devraient désormais être possibles grâce à getModelData()-API met à disposition des données de modèle sous forme de flux ininterrompu. Ces données de modèle peuvent être transférées en temps réel vers des serveurs web et utilisées pour l’inférence en ligne.

En outre, compte tenu du fait que Python est souvent utilisé à des fins d’apprentissage automatique, un nouveau SDK Python est disponible. Il peut être installé avec pip (pip install apache-flink-ml) et offre des API pour la création d’algorithmes ML qui ressemblent à leurs équivalents Java. Une future interopérabilité du SDK Python avec la bibliothèque Java d’Apache Flink ML est déjà prévue.

Avec la nouvelle version principale, la bibliothèque déménage pour la première fois dans son propre dépôt GitHub flink-ml sous le projet Flink. Cette étape doit permettre d’accélérer le développement de la bibliothèque open source grâce à des flux de travail de contribution plus légers et des cycles de publication distincts.

Comme Apache Flink ML 2.0 augmente la dépendance à la version actuelle Apache Flink 1.14, elle s’accompagne des breaking changes qui y sont introduits.

Tous les autres détails concernant la version 2.0 sont disponibles dans l’annonce officielle ainsi que dans les notes de publication.

Plus d'articles