AI×暗号通貨:技術開発から産業チェーンのパノラマ分析まで

AI x Crypto: ゼロからピークまで

はじめに

人工知能業界の最近の発展は、一部の人々によって第四次産業革命と見なされています。大規模モデルの登場は、各業界の効率を大幅に向上させ、米国においては約20%の労働効率の向上が見込まれています。同時に、大規模モデルがもたらす一般化能力は新しいソフトウェア設計のパラダイムと見なされており、過去の精密なコード設計に比べて、現在のソフトウェア設計はより一般化された大規模モデルのフレームワークをソフトウェアに組み込むことが多く、これらのソフトウェアはより良いパフォーマンスを発揮し、より広範囲なモードの入力と出力をサポートすることができます。深層学習技術は確かにAI業界に新たな繁栄をもたらし、この流れは暗号通貨業界にも広がっています。

本報告では、AI業界の発展の歴史、技術の分類、および深層学習技術が業界に与える影響について詳しく探討します。そして、深層学習におけるGPU、クラウドコンピューティング、データソース、エッジデバイスなどの産業チェーンの上下流の発展現状と傾向を深く分析します。最後に、本質的に暗号通貨とAI業界の関係を探討し、暗号通貨に関連するAI産業チェーンの構造を整理します。

! 新人科学丨AI×暗号:ゼロからピークまで

AI業界の歴史

AI業界は20世紀50年代に始まり、人工知能のビジョンを実現するために、学術界と産業界は異なる時代や異なる学問的背景の下で、人工知能を実現するための多様な流派を発展させてきました。

現代の人工知能技術は主に「機械学習」という用語を使用し、その理念はマシンがデータに基づいてタスクを繰り返し改善し、システムのパフォーマンスを向上させることです。主なステップは、データをアルゴリズムに送信し、このデータを使用してモデルを訓練し、モデルをテストして展開し、モデルを使用して自動予測タスクを完了することです。

現在、機械学習には3つの主要な流派があります。それは、結合主義、記号主義、行動主義であり、それぞれ人間の神経系、思考、行動を模倣しています。

現在、神経ネットワークを代表とする結合主義が優勢であり(、これを深層学習とも呼びます)。このアーキテクチャの主な理由は、入力層と出力層があり、複数の隠れ層が存在するためです。一度層数と神経元(のパラメータ)の数が十分に多くなると、複雑な汎用タスクにフィットする十分な機会が得られます。データを入力することで、神経元のパラメータを継続的に調整し、何度もデータを経ることで神経元は最適な状態に達します(。これがその「深さ」の由来です - 十分な層数と神経元が存在します。

神経ネットワークに基づく深層学習技術は、初期の神経ネットワークからフィードフォワード神経ネットワーク、RNN、CNN、GANに至るまで、複数の技術の反復と進化があります。そして、最終的にGPTなどの現代の大規模モデルで使用されるトランスフォーマー技術に進化しました。トランスフォーマー技術は神経ネットワークの進化の一つの方向であり、すべてのモダリティ)(音声、ビデオ、画像など)を対応する数値にエンコードするためのコンバーターを追加しています。次に、それを神経ネットワークに入力することで、神経ネットワークはあらゆるタイプのデータをフィッティングできるようになり、すなわちマルチモーダルを実現します。

! 新参者科学人気丨AI×暗号:ゼロからピークまで

AIの発展は三つの技術の波を経てきました:

第一次の波は20世紀60年代であり、AI技術が提案されてから10年後に起こりました。この波は、記号主義技術の発展によって引き起こされ、この技術は一般的な自然言語処理や人間とコンピュータの対話の問題を解決しました。同時期に、専門家システムが誕生しました。これは非常に強い化学知識を持つシステムであり、質問を通じて推論を行い、化学の専門家と同じような答えを生成します。

第二回AI技術の波は1997年に発生し、IBMのディープブルーが3.5対2.5で国際チェスチャンピオンのカスパロフを破った。この勝利は人工知能の一つのマイルストーンと見なされている。

第三のAI技術の波は2006年に発生しました。深層学習の三大巨頭が深層学習の概念を提唱し、人工神経ネットワークをアーキテクチャとしたデータの表現学習アルゴリズムです。その後、深層学習アルゴリズムは徐々に進化し、RNN、GANからTransformer、Stable Diffusionまで、これらのアルゴリズムは第3の技術波を形成し、連結主義の全盛期でもあります。

多くの象徴的な出来事は、深層学習技術の探求と進化に伴って次第に現れています。

  • 2011年、IBMのワトソンが『危険な境界』のクイズ番組で人間に勝利して優勝しました。

  • 2014年、GoodfellowはGANを提案し、2つの神経ネットワークが互いに競い合うことによって学習し、リアルに見える写真を生成できるようになりました。

  • 2015年、ヒントンらが『ネイチャー』誌にディープラーニングアルゴリズムを提案し、すぐに学術界や産業界で大きな反響を引き起こしました。

  • 2015年、OpenAIが設立され、10億ドルの投資を受けました。

  • 2016年、深層学習技術に基づくAlphaGoが李世石と囲碁の人間対コンピュータ戦を行い、4対1で勝利した。

  • 2017年、Googleが論文「Attention is all you need」を発表し、Transformerアルゴリズムを提案し、大規模な言語モデルが登場し始めました。

  • 2018年、OpenAIはTransformerアルゴリズムに基づいて構築されたGPTを発表し、当時最大の言語モデルの一つでした。

  • 2019年、OpenAIはGPT-2を発表し、15億のパラメータを持っている。

  • 2020年、OpenAIが開発したGPT-3は1750億のパラメータを持ち、GPT-2の100倍です。

  • 2021年、OpenAIはGPT-4を発表し、1.76兆のパラメータを持ち、GPT-3の10倍です。

  • 2023年1月にGPT-4モデルに基づくChatGPTアプリがリリースされ、3月に1億ユーザーに達し、歴史上最も速く1億ユーザーに到達したアプリとなりました。

! 【新人科学丨AI×暗号:ゼロからピークまで](https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp)

ディープラーニング産業チェーン

現在の大規模モデル言語は、すべて神経ネットワークに基づく深層学習方法を使用しています。GPTをはじめとする大規模モデルが人工知能の熱潮を生み出し、多くのプレイヤーがこの分野に参入しました。市場はデータと計算能力への需要が急増しています。したがって、このレポートのこの部分では、主に深層学習アルゴリズムの産業チェーンを探求し、深層学習アルゴリズムが主導するAI業界において、その上流と下流がどのように構成されているのか、上流と下流の現状と需給関係、そして将来の発展はどうなるのかを考察します。

まず明確にする必要があるのは、Transformer技術に基づくGPTなどの大規模モデルの訓練は、合計で3つのステップに分かれているということです。

トレーニングの前に、Transformerに基づいて、コンバーターはテキスト入力を数値に変換する必要があります。このプロセスは「トークン化」と呼ばれ、その後、これらの数値はトークンと呼ばれます。一般的に、英単語や文字は粗く1つのトークンと見なすことができ、各漢字は粗く2つのトークンと見なされます。これがGPTの料金計算に使用される基本単位です。

第一ステップ、事前学習。入力層に十分なデータペアを与えることによって、このモデルの各ニューロンの最適なパラメータを探すプロセスであり、このプロセスには大量のデータが必要であり、計算能力も最も消費するプロセスです。ニューロンがさまざまなパラメータを試すために繰り返し反復する必要があります。データペアの一批の訓練が完了した後、一般的には同じデータの一批を使用して、パラメータを反復するための二次訓練が行われます。

第二ステップ、ファインチューニング。ファインチューニングは、量が少なくても非常に高品質なデータのバッチを使用してモデルをトレーニングすることです。このような変更により、モデルの出力の品質が向上します。事前トレーニングには大量のデータが必要ですが、多くのデータには誤りや低品質のものが含まれている可能性があります。ファインチューニングステップは、優れたデータを使用してモデルの品質を向上させることができます。

第三歩、強化学習。まず、新しいモデル「報酬モデル」を構築します。このモデルの目的は非常にシンプルで、出力結果をランキングすることです。その後、このモデルを使用して大モデルの出力が高品質であるかどうかを判断します。こうすることで、報酬モデルを使って大モデルのパラメータを自動的に反復することができます。(しかし、時には人間の参加が必要でモデルの出力品質を評価することもあります。)

要するに、大規模モデルの訓練プロセスにおいて、事前学習はデータの量に非常に高い要求があり、必要なGPU計算力も最も多く、ファインチューニングはパラメータを改善するためにより高品質なデータを必要とし、強化学習は報酬モデルを介してパラメータを反復的に更新することで、より高品質な結果を出力することができます。

トレーニングプロセスでは、パラメータが多いほど一般化能力の上限が高くなります。したがって、大規模モデルのパフォーマンスに影響を与える主な要因は、パラメータの数、データの量と質、計算能力の3つです。これらの3つは、大規模モデルの結果の質と一般化能力に共同で影響を与えます。

パラメータの数をp、データの量をn(トークンの数で計算すると)、一般的な経験則を使って必要な計算量を計算できるため、購入する必要のある計算力の状況やトレーニング時間を予測することができます。

計算能力は一般的にFlopsを基本単位とし、一度の浮動小数点演算を表します。実践の経験則に基づけば、大規模モデルを一度プリトレーニングするのに約6np Flopsが必要で、6は業界の定数と呼ばれています。そして、推論(Inferenceは、データを入力し、大規模モデルの出力を待つプロセス)であり、入力n個のトークンと出力n個のトークンに分かれますので、合計で約2np Flopsが必要です。

初期には、CPUチップを使用してトレーニングを行い計算能力を提供していましたが、その後は徐々にGPUに置き換えられ始めました。例えば、NvidiaのA100やH100チップなどです。CPUは汎用計算として存在していますが、GPUは専用計算として機能し、エネルギー効率ではCPUをはるかに超えています。GPUは浮動小数点演算を主にTensor Coreと呼ばれるモジュールを通じて実行します。そのため、一般的なチップにはFP16 / FP32精度のFlopsデータがあり、これはその主な計算能力を示しており、チップの主要な評価指標の一つでもあります。

この膨大な計算量を見ると、1回の事前トレーニングを実現するためには、複数の最先端のチップが共同で計算する必要があることがわかります。また、GPT4のパラメーター数はGPT3の10倍であり、データ量が変わらない場合でも、チップの数は10倍購入する必要があります。さらに、GPT-4のトークン数は13兆個で、これもGPT-3の10倍です。最終的に、GPT-4は100倍以上のチップ演算能力を必要とする可能性があります。

大規模モデルのトレーニングでは、データストレージも問題です。データ量が膨大であり、GPUのメモリ空間は一般的に小さいため、メモリ空間がこれらのデータを収容できない場合、チップの帯域幅、つまりハードディスクからメモリへのデータ転送速度を考慮する必要があります。同時に、私たちは一つのチップだけを使用するわけではないので、複数のGPUチップが共同で大規模モデルをトレーニングするために、連合学習の方法を使用する必要があります。これには、チップ間でのGPUの転送速度が関係します。そのため、多くの場合、最終的なモデルのトレーニング実践を制約する要因やコストは、必ずしもチップの計算能力ではなく、より多くの場合、チップの帯域幅です。データ転送が遅いと、モデルの実行時間が延び、電力コストが上がることになります。

! 新人科学丨AI×暗号:ゼロからピークまで

クリプト×AIの関係性

ブロックチェーンはZK技術の発展により、非中央集権的で信頼不要な思想に進化しました。私たちはブロックチェーンの創造の初めに戻ります。それはビットコインチェーンです。中本聡の論文では、それを最初に信頼不要な価値移転システムと称しました。その後、非中央集権的、信頼不要な、価値交換のスマートコントラクトプラットフォームが登場しました。

本質に戻ると、私たちはブロックチェーンネットワーク全体を価値ネットワークと考えています。各取引は基盤となるトークンを基にした価値の変換です。ここでの価値はトークンの形で表現され、トークノミクスは具体的なトークンの価値を表現するルールです。

従来のインターネットでは、価値の生成はP/Eで決済され、最終的な形として表現されます。つまり、株価です。すべてのトラフィック、価値、影響力は企業のキャッシュフローを形成し、このキャッシュフローが価値の最終的な表れであり、最終的にP/Eに換算されて株価と時価総額に反映されます。

しかし、イーサリアムネットワークにとって、ETHはイーサリアムネットワークの多様な価値の具体化であり、単にステーキングを通じて安定したキャッシュフローを得るだけでなく、価値交換の媒介、価値保存の媒介、ネットワーク活動の消費財などとしても機能します。また、セキュリティ保護層としてRestakingやLayer2エコシステムのGas Feeとしても役立ちます。

トークノミクスは非常に重要であり、トークンエコノミーはエコシステムの決済手段(、つまりネットワークのネイティブトークン)の相対的価値を定義します。すべての次元に対して価格を設定することはできませんが、多次元的な価値の表現を持っています。これがトークンの価格です。この価値は企業の証券の存在形態をはるかに超えています。一度ネットワークにトークンを付与し、そのトークンを流通させると、テンセントのすべてのQポイントのように、限定された数量、デフレーションとインフレーションのメカニズムが存在します。

原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • 4
  • 共有
コメント
0/400
GameFiCriticvip
· 9時間前
技術のダブルヒットの新しいトレンド
原文表示返信0
NeverPresentvip
· 9時間前
詳細な材料分析には必読です
原文表示返信0
fren_with_benefitsvip
· 9時間前
未来はすでに来ていて、輝いている
原文表示返信0
ProposalManiacvip
· 9時間前
技術は常に進化しています
原文表示返信0
いつでもどこでも暗号資産取引
qrCode
スキャンしてGateアプリをダウンロード
コミュニティ
日本語
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)