AccueilActualités informatiqueMachine Learning : Aleph Alpha peaufine une IA transformative avec Oracle et...

Machine Learning : Aleph Alpha peaufine une IA transformative avec Oracle et Nvidia

Dans le cadre de l’International Supercomputing Conference (ISC), l’entreprise allemande d’intelligence artificielle Aleph Alpha a présenté le 16 novembre 2021, lors d’un panel avec Oracle et Nvidia, son nouveau modèle multimodal d’intelligence artificielle (IA) qui, contrairement au modèle purement linguistique GPT-3, associe la vision par ordinateur à la NLP et transpose en outre la flexibilité de GPT-3 pour tous les types d’interaction possibles au domaine multimodal. Concrètement, selon le CEO Jonas Andrulis, le modèle doit générer des textes à volonté et librement ou intégrer des images dans un contexte textuel. Le modèle Aleph-Alpha est apparemment aussi puissant que GPT dans la partie texte, mais il est possible d’y combiner des images à tout moment. Contrairement à DALL-E, le nouveau modèle ne se limite pas à une seule image avec sa légende. Les premières pistes d’essai montrent qu’il est apparemment capable de comprendre des images et des textes avec des connaissances du monde.

Andrulis avait dans ses bagages des exemples qui ont visiblement impressionné le public et qui rendent tangibles les capacités dont dispose déjà son modèle d’IA. Les exemples montraient des contenus d’images parfois inhabituels et surréalistes, comme un ours dans un taxi, un couple avec une chaise de camping, un ordinateur portable et une tente sous l’eau ou un gros poisson avec des dents énormes et un espace entre les dents, que l’IA est capable de décrire correctement lors du prompting avec des questions textuelles. Un niveau de complexité supplémentaire est l’image d’une note dans un ascenseur, où l’IA peut correctement faire la distinction entre la situation, le contenu essentiel et non essentiel du message et déduire le lieu à partir de quelques éléments textuels, ce qui n’est possible que par inférence causale. Les réponses fournies dans l’output ne sont pas possibles à partir de la seule image montrée, mais prouvent que le modèle d’IA saisit de manière autonome d’autres contextes. Par exemple, sur une carte au trésor écrite à la main, le modèle est capable non seulement de déchiffrer l’écriture, mais aussi d’évaluer correctement le caractère des différents lieux. L’analyse et la description correctes de dessins techniques à l’aide de méta-concepts qui ne peuvent pas être déduits du prompt ont également déjà été réalisées dans certains cas. Quelques exemples sont présentés dans la série d’images pour lesquelles Aleph Alpha heise Developer qui a mis à disposition les images.

Sommaire

Images du playground d’Aleph Alpha (5 images)

Camping sous-marin

Le modèle d’IA multimodale d’Aleph Alpha décrit correctement ce qu’il « voit » : un couple en train de camper joyeusement au fond de la mer.
(Image : Aleph Alpha)

Selon son inventeur, il s’agit donc d’un précurseur d’une transformation qui pourrait à terme modifier tous les secteurs de l’industrie, comme l’a fait la dernière électricité. Symboliquement, le titre du panel indiquait qu’il s’agissait de rien de moins qu’une quatrième révolution industrielle (« How GPT-3 is Spearheading the Fourth Industrial Revolution »). Les responsables des panels ont parlé de l’alliance de leurs entreprises et de leur recherche. Ils créent ainsi une alternative (et ont en partie une longueur d’avance) aux autres hypercalculateurs et aux géants de la technologie comme Microsoft, qui ont récemment acquis les droits exclusifs de GPT-3 pour un milliard de dollars US.

L’hyperscaling du matériel pour l’entraînement de grands modèles linguistiques comme GPT-3 est un thème central de l’édition actuelle de la conférence spécialisée, qui se déroule actuellement de manière hybride et qui réunit chaque année des experts de l’industrie et de la recherche. L’un des thèmes brûlants est que les modèles de plus en plus grands nécessitent des clusters plus grands pour l’entraînement et l’inférence (application), ce qui pose de grands défis aux ingénieurs et aux équipes de recherche, notamment en ce qui concerne le refroidissement et la connexion à grande vitesse entre les GPU.

L’un des messages clés du panel était qu’en l’état actuel de la technique, il ne suffit plus de formuler une idée intelligente sous forme de modèle, mais que c’est finalement l’infrastructure hautement évolutive nécessaire qui détermine le progrès et le succès. Kevin Jorissen, d’Oracle, et les deux intervenants, Joey Conway, de Nvidia Corporation, et Jonas Andrulis, d’Aleph Alpha, ont expliqué au public spécialisé ce que signifie l’exploitation d’un modèle de 200 milliards de paramètres, voire plus, et quelles sont les ressources en GPU, mais surtout en temps, qui sont désormais nécessaires. Ainsi, le modèle d’IA d’Aleph Alpha, dont il a été question à titre d’exemple, nécessiterait environ trois mois d’entraînement en cas d’utilisation de 512 GPU. Une des questions discutées avec le public était la répartition du modèle sur plusieurs GPU et la gestion des instabilités, car si le matériel est insuffisant, de petits problèmes peuvent forcer le redémarrage d’un test qui dure depuis des semaines, voire des mois, ce qui, outre la perte de temps, entraîne des coûts élevés.

La société Aleph Alpha GmbH, fondée à Heidelberg, est considérée comme un phare en Allemagne et en Europe. En effet, selon l’indice technologique MAD 2021 (Machine Learning, AI and Data Landscape), elle est la seule entreprise européenne d’intelligence artificielle à mener des activités de recherche, de développement et de conception d’intelligence artificielle générale (Artificial General Intelligence, en abrégé : AGI). Les fondateurs d’Aleph-Alpha, Jonas Andrulis et Samuel Weinbach, et leur équipe d’une trentaine de personnes travaillent en étroite collaboration avec le centre de recherche Hessian.AI, dirigé par le professeur Kristian Kersting et ancré à l’université technique de Darmstadt. De plus, une coopération scientifique existe avec l’université de Heidelberg et l’entreprise d’IA a Oracle et Hewlett Packard Enterprise (HPE) comme partenaires internationaux pour, entre autres, l’infrastructure cloud et le matériel nécessaire.

Le cofondateur et CEO Andrulis, qui a auparavant participé au développement de l’IA à un poste de direction, entre autres chez Apple, a été récompensé en octobre 2021 par le prix allemand de l’IA. Cette année, la start-up a déjà reçu environ 30 millions d’euros de financement de la part d’investisseurs européens afin de faire avancer l’apprentissage non supervisé en tant que pionnier. Un propre centre de calcul avec des clusters haute performance est actuellement en construction. Ceux qui s’intéressent de plus près au travail d’Aleph Alpha trouveront des informations intéressantes sur leur site web et sur le blog technologique de l’entreprise.

Lire aussi

L’édition de cette année de l’International Supercomputing Conference (ISC), qui s’est tenue du 14 au 19 novembre, était placée sous le thème « Science and Beyond », et pour la première fois, les organisateurs ont également organisé la conférence internationale spécialisée de manière hybride. Outre la manifestation sur place à St. Louis dans l’État américain du Missouri, les participants du monde entier ont eu l’occasion de se connecter virtuellement. De nombreuses sessions se sont déroulées soit via la plateforme de conférence, soit dans des salles de breakout via Zoom. Les personnes intéressées par le programme peuvent consulter le site web de la conférence.

Même ceux qui ont manqué le coup d’envoi peuvent encore monter à bord à la dernière minute : Il est possible de s’inscrire pendant la conférence en cours, jusqu’au 19 novembre 2021. Selon les intérêts, cela pourrait s’avérer judicieux, car les participants inscrits peuvent accéder ultérieurement aux enregistrements des présentations, dont certaines ont été enregistrées, sur la plateforme de la conférence.

Plus d'articles