IA x Crypto : De zéro à l'apogée

Introduction

Le développement récent de l'industrie de l'IA est considéré par certains comme la quatrième révolution industrielle. L'émergence de grands modèles a considérablement amélioré l'efficacité dans divers secteurs, et le Boston Consulting Group estime que le GPT a permis aux États-Unis d'augmenter d'environ 20 % l'efficacité au travail. De plus, la capacité de généralisation apportée par les grands modèles est appelée un nouveau paradigme de conception logicielle. Auparavant, la conception logicielle se basait sur un code précis, tandis qu'aujourd'hui, elle intègre des cadres de grands modèles plus généralisés dans les logiciels, permettant ainsi une meilleure performance et un soutien à des entrées et sorties de modalités plus variées. La technologie d'apprentissage profond a effectivement apporté la quatrième prospérité à l'industrie de l'IA, et cette vague s'est également propagée à l'industrie des cryptomonnaies.

Ce rapport explorera en détail l'histoire du développement de l'industrie de l'IA, les classifications technologiques, ainsi que l'impact de l'invention des technologies d'apprentissage profond sur l'industrie. Ensuite, nous analyserons en profondeur la chaîne de valeur de l'apprentissage profond, y compris les GPU, le cloud computing, les sources de données, les dispositifs en périphérie, ainsi que leur état de développement et les tendances. Par la suite, nous examinerons en détail la relation entre les cryptomonnaies et l'industrie de l'IA, en passant en revue la structure de la chaîne de valeur de l'IA liée aux cryptomonnaies.

Histoire du développement de l'industrie de l'IA

L'industrie de l'IA a commencé dans les années 1950. Pour réaliser la vision de l'intelligence artificielle, le monde académique et l'industrie ont développé de nombreuses écoles de pensée pour atteindre l'intelligence artificielle, dans des contextes disciplinaires variés à différentes époques.

Les technologies modernes de l'intelligence artificielle utilisent principalement le terme "apprentissage automatique". Le principe de cette technologie est de permettre aux machines d'améliorer les performances du système en itérant plusieurs fois sur des tâches à partir de données. Les principales étapes consistent à envoyer des données dans un algorithme, à utiliser ces données pour entraîner un modèle, à tester et à déployer le modèle, puis à utiliser le modèle pour effectuer des tâches de prédiction automatisées.

Actuellement, il existe trois grandes écoles de pensée en apprentissage machine : le connexionnisme, le symbolisme et le comportementalisme, qui imitent respectivement le système nerveux, la pensée et le comportement humains.

Actuellement, le connexionnisme, représenté par les réseaux de neurones, est en tête ( également appelé apprentissage profond ), la principale raison étant que cette architecture comporte une couche d'entrée, une couche de sortie, mais plusieurs couches cachées. Une fois que le nombre de couches et celui des neurones (, ainsi que les paramètres ), deviennent suffisamment élevés, il y a alors suffisamment d'opportunités pour ajuster des tâches générales complexes. Grâce à l'entrée de données, il est possible d'ajuster en permanence les paramètres des neurones, de sorte qu'après avoir traité de nombreuses données, ce neurone atteindra un état optimal (, ce qui est ce que nous appelons "un grand effort produit des miracles", et c'est aussi l'origine du mot "profondeur" – un nombre suffisant de couches et de neurones.

Prenons un exemple, on peut simplement comprendre que c'est la construction d'une fonction. Lorsque nous entrons X=2, Y=3 ; lorsque X=3, Y=5. Si nous voulons que cette fonction corresponde à tous les X, alors il faut continuer à ajouter le degré de cette fonction et ses paramètres. Par exemple, je peux construire une fonction qui satisfait cette condition : Y = 2X - 1. Cependant, s'il y a une donnée où X=2, Y=11, il sera nécessaire de reconstruire une fonction adaptée à ces trois points de données. En utilisant le GPU pour un bruteforce, on découvre que Y = X2 - 3X + 5 est assez approprié, mais il n'est pas nécessaire que les données coïncident parfaitement, il suffit de respecter l'équilibre et d'avoir une sortie à peu près similaire. Ici, X2, X et X0 représentent différents neurones, tandis que 1, -3 et 5 sont leurs paramètres.

À ce moment-là, si nous entrons une grande quantité de données dans le réseau de neurones, nous pouvons augmenter le nombre de neurones et itérer les paramètres pour ajuster les nouvelles données. Cela nous permettra d'ajuster toutes les données.

Les techniques d'apprentissage profond basées sur les réseaux de neurones ont également connu plusieurs itérations et évolutions technologiques, telles que les premiers réseaux de neurones de la figure ci-dessus, les réseaux de neurones à propagation avant, RNN, CNN, GAN, et enfin les grands modèles modernes comme les modèles Transformer utilisés par GPT, etc. La technologie Transformer n'est qu'une direction d'évolution des réseaux de neurones, ajoutant un convertisseur ) Transformer (, utilisé pour coder toutes les modalités ) telles que l'audio, la vidéo, les images, etc. ( en valeurs numériques correspondantes pour les représenter. Ensuite, ces données sont entrées dans le réseau de neurones, permettant ainsi au réseau de neurones de s'adapter à tout type de données, réalisant ainsi le multimodal.

![Nouveau Guide丨AI x Crypto : De zéro au sommet])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(

Le développement de l'IA a traversé trois vagues technologiques. La première vague a eu lieu dans les années 1960, une décennie après la proposition de la technologie IA. Cette vague a été provoquée par le développement de la technologie symbolique, qui a résolu les problèmes de traitement du langage naturel et de dialogue homme-machine. Au même moment, les systèmes experts ont vu le jour, le système expert DENRAL a été achevé sous la supervision de la NASA par l'Université de Stanford. Ce système possède des connaissances chimiques très solides et génère des réponses équivalentes à celles d'un expert en chimie par le biais de déductions basées sur des questions. Ce système expert en chimie peut être considéré comme une combinaison d'une base de connaissances chimiques et d'un système de raisonnement.

Après les systèmes experts, dans les années 1990, le scientifique et philosophe américain d'origine israélienne Judea Pearl ) Judea Pearl ( a proposé le réseau bayésien, également connu sous le nom de réseau de croyance. À la même époque, Brooks a proposé la robotique basée sur le comportement, marquant la naissance du behaviorisme.

En 1997, l'IBM Deep Blue a battu le champion d'échecs Garry Kasparov par 3,5 à 2,5, cette victoire étant considérée comme une étape importante pour l'intelligence artificielle, marquant le début d'un nouveau pic de développement des technologies AI.

La troisième vague de la technologie AI a eu lieu en 2006. Les trois géants de l'apprentissage profond, Yann LeCun, Geoffrey Hinton et Yoshua Bengio, ont proposé le concept d'apprentissage profond, un algorithme basé sur des réseaux de neurones artificiels qui apprend à représenter des données. Par la suite, les algorithmes d'apprentissage profond ont progressivement évolué, passant de RNN, GAN à Transformer et Stable Diffusion, ces deux algorithmes ayant façonné cette troisième vague technologique, qui est également l'apogée du connexionnisme.

De nombreux événements emblématiques ont également émergé progressivement avec l'exploration et l'évolution des technologies d'apprentissage profond, notamment :

• En 2011, le Watson d'IBM ) a remporté le titre dans le jeu télévisé Jeopardy ( en battant des humains.

• En 2014, Goodfellow a proposé le GAN) Réseau Génératif Antagoniste, Generative Adversarial Network(, qui permet d'apprendre par le biais d'un jeu entre deux réseaux de neurones, capable de générer des photos d'une réalité troublante. En même temps, Goodfellow a également écrit un livre intitulé "Deep Learning", surnommé le livre des fleurs, qui est l'un des ouvrages d'introduction importants dans le domaine de l'apprentissage profond.

• En 2015, Hinton et al. ont proposé des algorithmes d'apprentissage profond dans la revue "Nature", et la proposition de cette méthode d'apprentissage profond a immédiatement suscité un énorme écho dans le milieu académique ainsi que dans l'industrie.

• En 2015, OpenAI a été créé, Musk, le président de YC Altman, l'investisseur providentiel Peter Thiel) Peter Thiel( et d'autres ont annoncé un investissement commun de 1 milliard de dollars.

• En 2016, AlphaGo, basé sur la technologie d'apprentissage profond, a affronté le champion du monde de Go et joueur professionnel de 9e dan, Lee Sedol, dans une bataille homme-machine, remportant la victoire avec un score total de 4 à 1.

• En 2017, la société Hanson Robotics ) basée à Hong Kong a développé un robot humanoïde nommé Sophia, qui est considéré comme le premier robot à avoir obtenu le statut de citoyen de plein droit dans l'histoire, doté de nombreuses expressions faciales et de la capacité de comprendre le langage humain.

• En 2017, Google, avec une richesse de talents et de ressources technologiques dans le domaine de l'intelligence artificielle, a publié un article intitulé « Attention is all you need » qui a introduit l'algorithme Transformer, marquant le début des modèles de langage à grande échelle.

• En 2018, OpenAI a publié le GPT(, un Transformateur pré-entraîné génératif basé sur l'algorithme Transformer), qui était l'un des plus grands modèles de langage à l'époque.

• En 2018, l'équipe de Google DeepMind a publié AlphaGo, basé sur l'apprentissage profond, capable de prédire la structure des protéines, considéré comme un immense jalon dans le domaine de l'intelligence artificielle.

• En 2019, OpenAI a publié GPT-2, ce modèle possède 1,5 milliard de paramètres.

• En 2020, OpenAI a développé GPT-3, qui possède 175 milliards de paramètres, 100 fois plus que la version précédente GPT-2. Ce modèle a été entraîné avec 570 Go de texte et peut atteindre des performances de pointe sur plusieurs tâches de traitement du langage naturel (, y compris le questionnement, la traduction et la rédaction d'articles ).

• En 2021, OpenAI a publié GPT-4, un modèle doté de 1,76 trillion de paramètres, soit 10 fois celui de GPT-3.

• En janvier 2023, l'application ChatGPT basée sur le modèle GPT-4 a été lancée, et en mars, ChatGPT a atteint 100 millions d'utilisateurs, devenant l'application à atteindre le plus rapidement 100 millions d'utilisateurs dans l'histoire.

• En 2024, OpenAI lancera GPT-4 omni.

Remarque : Étant donné qu'il existe de nombreux articles sur l'intelligence artificielle, de nombreuses écoles de pensée et une évolution technologique variée, nous suivrons ici principalement l'histoire du développement de l'apprentissage profond ou du connexionnisme, les autres écoles et technologies étant encore en pleine évolution rapide.

Chaîne de valeur de l'apprentissage profond

Les modèles de langage actuels reposent tous sur des méthodes d'apprentissage profond basées sur des réseaux de neurones. Avec GPT en tête, les grands modèles ont suscité un engouement pour l'intelligence artificielle, attirant de nombreux acteurs dans ce domaine. Nous avons également constaté une explosion de la demande du marché pour les données et la puissance de calcul. Par conséquent, dans cette partie du rapport, nous explorons principalement la chaîne de valeur des algorithmes d'apprentissage profond. Dans l'industrie de l'IA dominée par les algorithmes d'apprentissage profond, comment sont composés ses acteurs en amont et en aval, et quelle est la situation actuelle ainsi que la relation entre l'offre et la demande et le développement futur.

Tout d'abord, il est nécessaire de clarifier que lors de l'entraînement des grands modèles LLMs dirigés par GPT basé sur la technologie Transformer, il y a trois étapes au total.

Avant l'entraînement, étant basé sur le Transformer, le convertisseur doit transformer l'entrée textuelle en valeurs numériques, ce processus est appelé "Tokenization". Par la suite, ces valeurs sont appelées Tokens. Selon une règle empirique générale, un mot ou un caractère anglais peut être approximativement considéré comme un Token, tandis que chaque caractère chinois peut être approximativement considéré comme deux Tokens. C'est également l'unité de base utilisée pour le calcul des coûts par GPT.

Première étape, pré-entraînement. En fournissant suffisamment de paires de données à la couche d'entrée, comme dans l'exemple de la première partie du rapport avec (X,Y), pour rechercher les meilleurs paramètres de chaque neurone dans le modèle, il faut beaucoup de données à ce stade, et ce processus est également le plus coûteux en puissance de calcul, car il nécessite de nombreuses itérations des neurones essayant divers paramètres. Une fois qu'un lot de paires de données est entraîné, il est généralement utilisé pour un second entraînement avec le même lot de données afin d'itérer les paramètres.

Deuxième étape, l'ajustement fin. L'ajustement fin consiste à fournir un petit volume de données, mais de très haute qualité, pour entraîner le modèle. Ce changement permettra d'obtenir une sortie de modèle de meilleure qualité, car le pré-entraînement nécessite une grande quantité de données, mais beaucoup de ces données peuvent contenir des erreurs ou être de faible qualité. L'étape d'ajustement fin peut améliorer la qualité du modèle grâce à des données de haute qualité.

Troisième étape, apprentissage par renforcement. Tout d'abord, un tout nouveau modèle sera établi, que nous appelons "modèle de récompense", ce modèle a un objectif très simple, c'est de classer les résultats de sortie, donc la mise en œuvre de ce modèle sera relativement simple, car le scénario commercial est assez vertical. Ensuite, ce modèle sera utilisé pour déterminer si les sorties de notre grand modèle sont de haute qualité, ce qui nous permet d'utiliser un modèle de récompense pour itérer automatiquement les paramètres du grand modèle. ( Cependant, il est parfois nécessaire d'impliquer des humains pour évaluer la qualité des sorties du modèle ).

En résumé, pendant le processus d'entraînement des grands modèles, la pré-formation exige une quantité de données très élevée, et la puissance de calcul GPU nécessaire est également la plus importante. Le réglage fin nécessite des données de meilleure qualité pour améliorer les paramètres, et l'apprentissage par renforcement peut itérer les paramètres à plusieurs reprises via un modèle de récompense pour produire des résultats de meilleure qualité.

Au cours de l'entraînement, plus il y a de paramètres, plus le plafond de sa capacité de généralisation est élevé. Par exemple, dans l'exemple de la fonction Y = aX + b, il y a en réalité deux neurones, X et X0. Par conséquent, peu importe comment les paramètres changent, les données qu'ils peuvent ajuster sont extrêmement limitées, car leur essence reste une ligne droite. Si le nombre de neurones augmente, alors plus de paramètres peuvent être itérés, ce qui permet d'ajuster plus de données. C'est la raison pour laquelle les grands modèles produisent des miracles, et c'est aussi pourquoi on les appelle communément grands modèles. En essence, il s'agit d'un nombre énorme de neurones et de paramètres, ainsi que d'une grande quantité de données, nécessitant également une puissance de calcul massive.

Ainsi, la performance des grands modèles est principalement déterminée par trois aspects : le nombre de paramètres, le volume et la qualité des données, ainsi que la puissance de calcul. Ces trois éléments agissent ensemble.