AI行业的演进与区块链融合前景

人工智能行业在近期取得了长足进展,被视为第四次工业革命的关键驱动力。大型语言模型的出现显著提升了各行各业的工作效率,波士顿咨询公司认为GPT为美国整体提升了约20%的生产力。同时,大模型所具备的泛化能力被认为是一种全新的软件设计范式,有别于过去精确编码的方式,现在的软件设计更多地采用泛化性更强的大模型框架,能够支持更广泛的模态输入和输出。深度学习技术为AI行业带来了新一轮繁荣,这股热潮也逐渐蔓延至加密货币行业。

本报告将深入探讨AI行业的发展历程、技术分类,以及深度学习技术对行业产生的影响。我们将剖析深度学习领域中GPU、云计算、数据源、边缘设备等产业链上下游的现状与发展趋势。同时,我们也将从本质上探讨加密货币与AI行业的关联,并对加密货币相关的AI产业链格局进行梳理。

AI行业发展历程

AI行业自20世纪50年代起步以来,学术界和产业界在不同时期、不同学科背景下,发展出了多种实现人工智能的流派。

现代人工智能技术主要采用"机器学习"这一术语,其核心理念是让机器通过数据在特定任务中反复迭代来提升系统性能。主要步骤包括将数据输入算法,利用数据训练模型,测试部署模型,最后使用模型完成自动化预测任务。

目前机器学习主要有三大流派,分别是联结主义、符号主义和行为主义,它们分别模仿人类的神经系统、思维和行为。其中以神经网络为代表的联结主义目前占据主导地位(也称为深度学习)。神经网络架构包含输入层、输出层和多个隐藏层,当层数和神经元(参数)数量足够多时,就能拟合复杂的通用任务。通过不断输入数据调整神经元参数,最终神经元会达到最佳状态,这也是"深度"一词的由来 - 足够多的层数和神经元。

以神经网络为基础的深度学习技术也经历了多次迭代与演进,从最早期的神经网络,到前馈神经网络、RNN、CNN、GAN,最后发展到现代大模型如GPT等使用的Transformer技术。Transformer技术是神经网络的一个演进方向,增加了一个转换器(Transformer),用于将各种模态(如音频、视频、图片等)的数据编码成对应的数值表示,然后输入神经网络,使神经网络能够拟合任何类型的数据,实现多模态处理。

AI发展经历了三次技术浪潮:

第一次浪潮发生在20世纪60年代,由符号主义技术引发,解决了通用自然语言处理和人机对话问题。同期,专家系统诞生,如美国国家航空航天局开发的DENDRAL化学专家系统。

第二次浪潮发生在20世纪90年代,贝叶斯网络和基于行为的机器人学提出,标志着行为主义的诞生。1997年,IBM深蓝战胜国际象棋冠军卡斯帕罗夫,被视为人工智能的一个里程碑。

第三次浪潮始于2006年。深度学习概念提出,以人工神经网络为架构,对数据进行表征学习。随后深度学习算法不断演进,从RNN、GAN到Transformer和Stable Diffusion,塑造了这次技术浪潮,也是联结主义的鼎盛时期。

期间发生了多个标志性事件:

• 2011年,IBM的Watson在《危险边缘》问答节目中战胜人类选手。
• 2014年,Goodfellow提出GAN(生成对抗网络)。
• 2015年,Hinton等人在《自然》杂志提出深度学习算法,引起巨大反响。OpenAI成立。
• 2016年,AlphaGo战胜围棋世界冠军李世石。
• 2017年,Google提出Transformer算法,大规模语言模型开始出现。
• 2018年,OpenAI发布GPT,DeepMind发布AlphaFold。
• 2019年,OpenAI发布GPT-2。
• 2020年,OpenAI发布GPT-3。
• 2023年,基于GPT-4的ChatGPT推出,迅速达到一亿用户。

深度学习产业链

当前大语言模型主要采用基于神经网络的深度学习方法。以GPT为代表的大模型掀起了新一轮人工智能热潮,大量玩家涌入这一领域,市场对数据和算力的需求激增。本节将探讨深度学习算法的产业链构成,以及上下游的现状、供需关系和未来发展。

基于Transformer技术的GPT等大语言模型(LLMs)训练主要分为三个步骤:

1. 预训练:输入大量数据对来寻找神经元的最佳参数。这个过程最耗费算力,需要反复迭代尝试各种参数。

2. 微调:使用少量但高质量的数据进行训练,提升模型输出质量。

3. 强化学习:建立一个"奖励模型"来评估大模型的输出质量,通过这个模型来自动迭代大模型的参数。有时也需要人为参与评判。

简而言之,预训练对数据量要求高,耗费最多GPU算力;微调需要高质量数据来改进参数;强化学习通过奖励模型反复迭代参数以提高输出质量。

影响大模型表现的三个主要因素是:参数数量、数据量与质量、算力。这三者共同决定了大模型的结果质量和泛化能力。假设参数数量为p,数据量为n(以Token数量计算),可以通过经验法则估算所需的计算量,从而预估所需的算力和训练时间。

算力通常以Flops为基本单位,代表一次浮点运算。根据实践经验,预训练一次大模型大约需要6np Flops。推理(输入数据等待模型输出的过程)则需要2np Flops。

早期AI训练主要使用CPU芯片,后来逐渐被GPU替代,如Nvidia的A100、H100等。GPU在能耗效率上远超CPU,主要通过Tensor Core模块进行浮点运算。芯片的计算能力通常以FP16/FP32精度下的Flops来衡量。

以GPT-3为例,其有1750亿个参数,1800亿个Token的数据量(约570GB)。进行一次预训练需要3.15*10^22 Flops,相当于一张Nvidia A100 SXM芯片需要584天。考虑到GPT-4的参数量是GPT-3的10倍,数据量也增加了10倍,可能需要100倍以上的芯片算力。

在大模型训练中,数据存储也是一个挑战。GPU内存通常较小(如A100为80GB),无法容纳全部数据和模型参数。因此需要考虑芯片的带宽,即数据在硬盘和内存间的传输速度。多GPU协同训练时,芯片间的数据传输速率也很关键。

深度学习产业链主要包括以下几个环节:

1. 硬件GPU提供商:目前Nvidia处于绝对领先地位。学术界主要使用消费级GPU(如RTX系列),工业界主要使用H100、A100等专业芯片。Google也有自研的TPU芯片。

2. 云服务提供商:为资金有限的AI企业提供弹性算力和托管训练解决方案。主要分为三类:传统云厂商(如AWS、Google Cloud、Azure)、垂直AI云算力平台(如CoreWeave、Lambda)、推理即服务提供商(如Together.ai、Fireworks.ai)。

3. 训练数据源提供商:为大模型提供大量数据或高质量数据。Google、Reddit等拥有大量数据的公司受到关注。也有专门的数据标注公司为特定领域模型提供数据。

4. 数据库提供商:AI训练推理任务主要使用"矢量数据库",用于高效存储和索引海量高维矢量数据。主要玩家包括Chroma、Zilliz、Pinecone、Weaviate等。

5. 边缘设备:为GPU集群提供散热和供电支持。包括能源供应(如地热、氢能、核能)和冷却系统(如液冷技术)。

6. 应用:目前AI应用主要集中在搜索、问答等领域,留存率和活跃度普遍低于传统互联网应用。应用主要分为面向专业消费者、企业和普通消费者三类。

加密货币与AI的关系

区块链技术的核心是去中心化和去信任化。比特币创造了一个去信任的价值转移系统,以太坊则进一步实现了去中心化、去信任的智能合约平台。从本质上看,区块链网络是一个价值网络,每笔交易都是以底层代币为基础的价值转换。

传统互联网中,价值通过P/E等指标体现在股价上。而在区块链网络中,原生代币(如ETH)体现了网络的多维度价值,不仅可以获得质押收益,还可作为价值交换媒介、价值存储媒介、网络活动消费品等。

代币经济学(Tokenomics)规定了生态系统结算物(原生代币)的相对价值。虽然无法为每个维度单独定价,但代币价格综合反映了多维度的价值。一旦为网络赋予代币并使其流通,就能实现远超传统股权的价值捕获。

代币经济学的魅力在于能为任何功能或思想赋予价值。它重新定义和发现价值,对包括AI在内的各行业都至关重要。在AI产业中,发行代币可以重塑产业链各环节的价值,激励更多人深耕细分赛道。代币还能为基础设施提供额外价值,促进"胖协议瘦应用"范式的形成。

区块链技术的不可篡改和无需信任特性也能为AI行业带来实际价值。例如,可以在保护用户隐私的前提下允许模型使用数据;可以通过全球化网络分配闲置GPU算力,重新发现剩余价值。

总的来说,代币经济学有助于重塑和发现价值,去中心化账本则可以解决信任问题,将价值在全球范围内重新流动。这种结合为AI产业带来了新的可能性。

加密货币行业AI产业链概览

1. GPU供给侧: 主要项目包括Render、Golem等。Render作为较成熟的项目,主要面向非大模型的视频渲染任务。GPU云算力市场不仅可服务于AI模型训练和推理,也适用于传统渲染任务,降低了对单一市场的依赖风险。

2. 硬件带宽: 项目如Meson Network试图建立全球带宽共享网络。但共享带宽对于大模型训练可能是伪需求,因为地理位置造成的延迟会显著影响训练效率。

3. 数据: 主要项目包括EpiK Protocol、Synesis One、Masa等。与传统数据企业相比,区块链数据提供商在数据采集方面具有优势,能为个人数据定价并通过代币激励用户贡献数据。

4. ZKML: 项目如Zama、TruthGPT等使用零知识证明技术实现隐私计算和训练。此外,一些通用型ZK项目如Axiom、Risc Zero也值得关注。

5. AI应用: 目前主要是传统区块链应用结合自动化和泛化能力。AI Agent(如Fetch.AI)作为用户与多种应用的桥梁,有望率先受益。

6. AI公链: 如Tensor、