La révolution de l'ingénierie de l'IA : des Transformers à la guerre des cent modèles

Le mois dernier, une "guerre des animaux" a éclaté dans le domaine de l'IA. D'un côté, il y a la série de modèles Llama lancée par Meta, qui est très appréciée des développeurs grâce à sa nature open source. De l'autre côté, il y a un grand modèle appelé Falcon, développé par l'Institut de recherche en innovation technologique des Émirats. Ces deux modèles se sont échangés la première place dans le classement des LLM open source.

Il est intéressant de noter que l'objectif des Émirats Arabes Unis dans la compétition AI est de "subvertir les acteurs clés". Peu après, le ministre de l'Intelligence Artificielle des Émirats a été sélectionné parmi les "100 personnes les plus influentes dans le domaine de l'IA" par le magazine Time.

Aujourd'hui, le domaine de l'IA est entré dans une phase de "cent écoles s'affrontent". De nombreux pays et entreprises développent leurs propres grands modèles de langage. Dans la région du Golfe, il n'y a pas qu'un seul acteur impliqué. Ce phénomène a suscité des réflexions chez certains professionnels du secteur, qui estiment qu'une situation de "guerre des modèles" émerge également dans le domaine des technologies de pointe.

Transformer dévore le monde

Le développement florissant des grands modèles actuels est dû à l'article "Attention Is All You Need" publié en 2017. L'algorithme Transformer proposé dans cet article est devenu le catalyseur de cette nouvelle vague d'IA.

Avant l'apparition des Transformers, "enseigner aux machines à lire" était un problème académique reconnu. Les premiers réseaux de neurones avaient du mal à comprendre le contexte. En 2014, l'apparition des réseaux de neurones récurrents (RNN) a en partie résolu ce problème, mais leur caractéristique de calcul séquentiel a limité leur capacité à traiter des données à grande échelle.

Le Transformer, grâce à des innovations telles que l'encodage de position et le calcul parallèle, améliore à la fois l'efficacité de l'entraînement et renforce la capacité à comprendre le contexte. Cela a permis à l'IA de passer de la recherche théorique à la pratique d'ingénierie, ouvrant la voie à l'ère des grands modèles.

Avec la popularité des Transformers, la vitesse d'innovation des algorithmes de base a ralenti, et des éléments d'ingénierie tels que l'ingénierie des données et l'échelle de calcul sont devenus cruciaux dans la compétition en IA. Cela signifie également que toute entreprise ayant une certaine compétence technique peut tenter de développer de grands modèles.

Un fossé construit sur du verre

Actuellement, la "guerre des grands modèles" est devenue une réalité. Selon les rapports, jusqu'en juillet de cette année, le nombre de grands modèles en Chine a atteint 130, dépassant les 114 des États-Unis. En dehors de la Chine et des États-Unis, des pays comme le Japon, l'Inde et la Corée du Sud ont également lancé leurs propres grands modèles.

Cependant, le fait d'entrer sur le marché facilement ne signifie pas que tout le monde peut devenir un géant à l'ère de l'IA. Prenons l'exemple de la concurrence entre Falcon et Llama ; bien que Falcon soit en tête dans certains classements, il est difficile de dire à quel point cela a eu un impact sur Meta. Pour les grands modèles open source, une communauté de développeurs active est la véritable force concurrentielle. Meta, grâce à son ADN de médias sociaux et à sa stratégie open source, a un avantage dans ce domaine.

De plus, la plupart des grands modèles ont encore un écart de performance évident par rapport à GPT-4. Lors des tests récents d'AgentBench, GPT-4 a obtenu un score de 4,41, loin devant, tandis que Claude, en deuxième position, n'a obtenu que 2,77, et la plupart des modèles open source n'ont obtenu qu'environ 1 point.

Cet écart provient des équipes de scientifiques de haut niveau détenues par les meilleures entreprises d'IA et de l'expérience accumulée sur le long terme. Par conséquent, la principale compétitivité des grands modèles pourrait résider dans la construction d'un écosystème ( la voie open source ) ou dans des capacités de raisonnement pures ( la voie fermée ).

Point d'ancrage de la valeur

Malgré la montée en flèche de l'IA, peu d'entreprises parviennent actuellement à en tirer profit. Le coût élevé de la puissance de calcul constitue un obstacle majeur au développement de l'industrie. On estime que les entreprises technologiques du monde entier pourraient dépenser jusqu'à 200 milliards de dollars par an pour l'infrastructure des grands modèles, tandis que les revenus générés par ces grands modèles atteignent au maximum 75 milliards de dollars, créant un énorme fossé.

Même des leaders de l'industrie comme Microsoft et Adobe sont confrontés à des défis en matière de tarification des services d'IA et de contrôle des coûts. Pour la plupart des grands modèles aux paramètres nombreux, le principal domaine d'application reste encore la fonction de chat.

Avec l'intensification de la concurrence homogène et la popularité des modèles open source, le modèle commercial reposant uniquement sur la fourniture de services de grands modèles pourrait faire face à une pression accrue. À l'avenir, la véritable valeur de la technologie IA pourrait se manifester davantage dans des scénarios d'application concrets et dans la capacité à résoudre des problèmes pratiques.