AccueilActualités informatiquePipelines ML et de données : Flyte 0.19 fournit plus de puissance...

Pipelines ML et de données : Flyte 0.19 fournit plus de puissance pour des flux de travail plus importants

L’équipe de développement derrière la plateforme d’orchestration de workflow cloud-native Flyte a présenté la version 0.19.0, premier jalon de l’année en cours. Avec diverses améliorations autour de l’interface utilisateur et du système central de tâches et de flux de travail, cette mise à jour doit préparer la sortie prévue de la première version majeure de Flyte au deuxième trimestre.

Sommaire

L’outil développé à l’origine par le département d’ingénierie de la société de transport américaine Lyft, qui permet de décrire les processus de travail et les tâches pour les pipelines de données et d’apprentissage automatique dans n’importe quel langage de programmation, fait ses preuves depuis près d’un an en tant que projet open source dans l’incubateur de la LF AI Data Foundation.

Selon l’annonce faite par l’équipe, les travaux de transformation commencés avec Flyte 0.18.2, qui visent à rendre la plateforme d’orchestration des flux de travail plus facile et plus efficace à utiliser et à exploiter, seront désormais terminés, de sorte que les utilisatrices et les utilisateurs disposeront d’un design UX entièrement repensé à partir de Flyte 1.0. Les dernières nouveautés apportées à la Flyte Console, qui permet de gérer les workflows, les tâches et les exécutions, comprennent notamment la possibilité d’intégrer Google Analytics et d’ajouter des informations sur l’utilisation de l’Internet dans le formulaire de démarrage des nouveaux workflows. security context à configurer.

Alors que les flux de travail et les tâches pour les pipelines ML et de données peuvent en principe être créés dans n’importe quel langage de programmation, Flyte ne fournit jusqu’à présent que des SDK pour Python, Java et Scala. La version 0.26.0 de Flytekit Python apporte de nouvelles fonctions qui permettent, par exemple, d’utiliser le paramètre cache_serialize il est possible d’empêcher que deux tâches mises en cache soient exécutées en même temps. Au lieu de "" dans les notes de type, il est désormais possible d’insérer des annotations en utilisant from __future__ import annotations au début du code d’une description de workflow.

Afin de pouvoir traiter simultanément les flux de travail de pipelines de données et de ML complexes avec une grande évolutivité, Flyte repose sur une structure qui relie différents backends de calcul via un graphe de dépendance de données à type sûr. Toutes les modifications apportées à un pipeline sont enregistrées, ce qui permet de réinitialiser à tout moment les étapes de travail. Pour Flyte 0.19.0, l’équipe de développement a continué à travailler sur l’amélioration de la fiabilité et de la performance du système sous-jacent. La performance lors de la transition entre les nœuds devrait notamment être sensiblement améliorée.

Lire aussi

Un aperçu de toutes les nouveautés de Flyte 0.19.0 se trouve dans les notes de mise à jour sur le repo GitHub du projet. Vous trouverez de plus amples informations sur la plateforme d’orchestration des flux de travail sur le site web de Flyte.

Plus d'articles