Une appliance dédiée aux LLM signée Inflection AI et Intel

Intel et Inflection AI se sont associés pour créer une appliance dédiée aux LLM. (Crédit Photo : Geralt/Pixabay)

La start-up Inflection AI et Intel vont fournir une appliance à destination des entreprises. Equipée de l'accélérateur Gaudi 3 et du LLM Inflection 3.0, elle permettra de développer et déployer des applications IA.

Si beaucoup d'entreprises se tournent vers le cloud pour entraîner et créer leurs applications d'IA, des sociétés comme Intel et Inflection AI planchent sur la création d'une appliance dédiée aux LLM. Chacune des parties apporte son expertise. Ainsi Intel fournit l'accélérateur IA Gaudi 3 (gravé en 5 nm chez TSMC) présenté en avril dernier. Il offre 4 fois plus de capacités de calcul IA et une bande passante mémoire 1,5 fois supérieure à son prédécesseur, le Gaudi 2.

Dans l'appliance, Intel apporte également son savoir-faire sur la connectivité Ethernet et en particulier sa participation à l'UEC (Ultra Ethernet Consortium). Ce dernier travaille sur des évolutions d'Ethernet notamment de meilleures options de multi-acheminement et de distribution de paquets, ainsi que des fonctionnalités modernes de gestion des congestions et de télémétrie.

Une commercialisation au T1 2025

De son côté, Inflection AI livre son LLM Inflection 3.0. Il est disponible en deux versions. La première est destinée à alimenter les chatbots, tandis que l'autre est optimisée et affinée pour les tâches de l'entreprise. Le LLM peut également regrouper ses réponses dans le format de données JSON offrant aux développeurs d'intégrer plus facilement les résultats du modèle dans les applications. L'appliance baptisée Inflection for Enterprise sera commercialisée au premier trimestre 2025.

Dans un blog, Sean White, le CEO d'Inflection AI, souligne que la solution « est le seul système qui permet aux entreprises de posséder leur IA dans son intégralité ». Et d'ajouter, « vous possédez vos données, votre modèle affiné et l'architecture sur laquelle il s'exécute. Vous avez le contrôle total sur l'hébergement en local, dans le cloud (sur la plateforme Tiber d'Intel) ou en mode hybride ». Pour mémoire, la start-up a été lancée en 2022 et a levé 1,3 Md$ pour créer une alternative à ChatGPT nommée Pi. En mars dernier, Microsoft a recruté la direction et la plupart des salariés de la société avec un contrat de licence estimé à 650 M$. Une opération surveillée par les autorités de la concurrence de certains pays comme l'Angleterre estimant qu'elle s'apparente à un rachat et pourrait comporter des risques pour la concurrence.

Edition du 08/10/2024, par Jacques Cheminat