AI x Crypto：从零到巅峰

引言

人工智能行业近期的发展被一些人视为第四次工业革命。大模型的出现显著提升了各行各业的效率,据估计为美国提升了约20%的工作效率。同时,大模型带来的泛化能力被认为是新的软件设计范式,相比过去精确的代码设计,现在的软件设计更多是将泛化的大模型框架嵌入到软件中,这些软件能具备更好的表现和支持更广泛模态的输入与输出。深度学习技术确实为AI行业带来了新一轮繁荣,这股潮流也延伸到了加密货币行业。

本报告将详细探讨AI行业的发展历史、技术分类、以及深度学习技术对行业的影响。然后深入分析深度学习中GPU、云计算、数据源、边缘设备等产业链上下游的发展现状与趋势。最后从本质上探讨加密货币与AI行业的关系,梳理加密货币相关的AI产业链格局。

AI行业的发展历史

AI行业从20世纪50年代起步,为实现人工智能的愿景,学术界和工业界在不同时代不同学科背景下,发展出了多种实现人工智能的流派。

现代人工智能技术主要使用"机器学习"这一术语,其理念是让机器依靠数据在任务中反复迭代以改善系统性能。主要步骤是将数据送到算法中,使用此数据训练模型,测试部署模型,使用模型完成自动化预测任务。

目前机器学习有三大主要流派,分别是联结主义、符号主义和行为主义,分别模仿人类的神经系统、思维、行为。

目前以神经网络为代表的联结主义占据上风(也称为深度学习),主要原因是这种架构有一个输入层一个输出层,但有多个隐藏层,一旦层数以及神经元(参数)数量足够多,就有足够机会拟合复杂的通用型任务。通过数据输入,可以不断调整神经元参数,经历多次数据后神经元就会达到最佳状态(参数),这也是其"深度"的由来 - 足够多的层数和神经元。

基于神经网络的深度学习技术,也有多个技术迭代与演进,从早期的神经网络,到前馈神经网络、RNN、CNN、GAN,最后演进到现代大模型如GPT等使用的Transformer技术。Transformer技术只是神经网络的一个演进方向,多加了一个转换器,用于把所有模态(如音频,视频,图片等)的数据编码成对应的数值来表示。然后再输入到神经网络中,这样神经网络就能拟合任何类型的数据,也就是实现多模态。

AI发展经历了三次技术浪潮:

第一次浪潮是20世纪60年代,是AI技术提出十年后,这次浪潮是符号主义技术发展引起的,该技术解决了通用的自然语言处理以及人机对话问题。同时期,专家系统诞生,这是一个具备非常强的化学知识的系统,通过问题进行推断以生成和化学专家一样的答案。

第二次AI技术浪潮发生在1997年,IBM深蓝"Blue"以3.5:2.5战胜了国际象棋冠军卡斯帕罗夫,这场胜利被视为人工智能的一个里程碑。

第三次AI技术浪潮发生在2006年。深度学习三巨头提出了深度学习的概念,一种以人工神经网络为架构,对数据进行表征学习的算法。之后深度学习算法逐渐演进,从RNN、GAN到Transformer以及Stable Diffusion,这些算法共同塑造了第三次技术浪潮,也是联结主义的鼎盛时期。

许多标志性事件也伴随着深度学习技术的探索与演进逐渐涌现,包括:

• 2011年,IBM的沃森在《危险边缘》回答测验节目中战胜人类获得冠军。

• 2014年,Goodfellow提出GAN,通过让两个神经网络相互博弈的方式进行学习,能够生成以假乱真的照片。

• 2015年,Hinton等人在《自然》杂志提出深度学习算法,立即在学术圈以及工业界引起巨大反响。

• 2015年,OpenAI创建,获得10亿美元注资。

• 2016年,基于深度学习技术的AlphaGo与李世石进行围棋人机大战,以4:1获胜。

• 2017年,Google发布论文《Attention is all you need》提出Transformer算法,大规模语言模型开始出现。

• 2018年,OpenAI发布基于Transformer算法构建的GPT,是当时最大的语言模型之一。

• 2019年,OpenAI发布GPT-2,具有15亿个参数。

• 2020年,OpenAI开发的GPT-3具有1750亿个参数,比GPT-2高100倍。

• 2021年,OpenAI发布GPT-4,具备1.76万亿个参数,是GPT-3的10倍。

• 2023年1月基于GPT-4模型的ChatGPT应用推出,3月达到一亿用户,成为历史最快达到一亿用户的应用。

深度学习产业链

当前大模型语言使用的都是基于神经网络的深度学习方法。以GPT为首的大模型造就了一波人工智能热潮,大量玩家涌入这个赛道,市场对数据、算力的需求大量迸发。因此在报告的这一部分,我们主要探索深度学习算法的产业链,在深度学习算法主导的AI行业,其上下游是如何组成的,上下游的现状与供需关系、未来发展又是如何。

首先需要明确的是,在训练基于Transformer技术的GPT等大模型时,一共分为三个步骤。

在训练之前,由于基于Transformer,转换器需要将文本输入转化为数值,这个过程被称为"Tokenization",之后这些数值被称为Token。一般来说,一个英文单词或字符可以粗略视作一个Token,而每个汉字可以被粗略视为两个Token。这也是GPT计价使用的基本单位。

第一步,预训练。通过给输入层足够多的数据对来寻找该模型下各个神经元最佳的参数,这个过程需要大量数据,也是最耗费算力的过程,因为要反复迭代神经元尝试各种参数。一批数据对训练完成后,一般会使用同一批数据进行二次训练以迭代参数。

第二步,微调。微调是给予一批量较少但质量非常高的数据来训练,这样的改变会让模型的输出有更高的质量,因为预训练需要大量数据,但很多数据可能存在错误或低质量。微调步骤能够通过优质数据提升模型的品质。

第三步,强化学习。首先会建立一个全新的模型,称为"奖励模型",这个模型目的很简单,就是对输出的结果进行排序。之后用这个模型来判定大模型的输出是否是高质量的,这样就可以用一个奖励模型来自动迭代大模型的参数。(但有时也需要人为参与来评判模型的输出质量)

简而言之,在大模型的训练过程中,预训练对数据的量有非常高的要求,所需耗费的GPU算力也是最多的,而微调需要更加高质量的数据来改进参数,强化学习可以通过一个奖励模型来反复迭代参数以输出更高质量的结果。

在训练过程中,参数越多其泛化能力的天花板就越高。因此,影响大模型表现主要由三个方面决定:参数数量、数据量与质量、算力,这三个共同影响了大模型的结果质量和泛化能力。

假设参数数量为p,数据量为n(以Token数量计算),那么我们能够通过一般的经验法则计算所需的计算量,这样就可以预估需要购买的算力情况以及训练时间。

算力一般以Flops为基本单位,代表了一次浮点运算。根据实践的经验法则,预训练一次大模型,大概需要6np Flops,6被称为行业常数。而推理(Inference,就是我们输入一个数据,等待大模型的输出的过程),分成两部分,输入n个token,输出n个token,那么大约一共需要2np Flops。

在早期,使用的是CPU芯片进行训练提供算力支持,但之后开始逐渐使用GPU替代,如Nvidia的A100、H100芯片等。因为CPU是作为通用计算存在的,但GPU可以作为专用的计算,在能耗效率上远远超过CPU。GPU运行浮点运算主要是通过一个叫Tensor Core的模块进行。因此一般的芯片有FP16 / FP32精度下的Flops数据,这个代表了其主要的计算能力,也是芯片的主要衡量指标之一。

我们能够看到这个庞大的计算量,需要多张最先进的芯片共同计算才能够实现一次预训练,并且GPT4的参数量是GPT3的十倍,意味着即使数据量不变的情况下,芯片的数量要多购买十倍,并且GPT-4的Token数量为13万亿个,又是GPT-3的十倍,最终,GPT-4可能需要超过100倍的芯片算力。

在大模型训练中,数据存储也是一个问题,因为数据量巨大,而GPU的内存空间一般都较小,因此在内存空间无法容纳这些数据时,就需要考察芯片的带宽,也就是从硬盘到内存的数据传输速度。同时由于我们不会只使用一张芯片,那么就需要使用联合学习的方法,在多个GPU芯片共同训练一个大模型,就涉及到GPU在芯片之间传输的速率。所以在很多时候,制约最后模型训练实践的因素或者成本,不一定是芯片的计算能力,更多时候可能是芯片的带宽。因为数据传输很慢,会导致运行模型的时间拉长,电力成本就会提高。

Crypto x AI的关系

区块链得益于ZK技术的发展,演变成了去中心化 + 去信任化的思想。我们回到区块链创造之初,是比特币链。在中本聪的论文中,其首先称其为去信任化的、价值转移系统。之后推出了去中心化、去信任化、价值互换的智能合约平台。

回到本质,我们认为整个区块链网络就是一个价值网络,每一笔交易都是以底层代币为基础的价值转换。这里的价值是Token的形式体现,而Tokenomics就是具体的Token价值体现的规则。

在传统的互联网中,价值的产生是以P/E进行结算,是有一个最终的形式体现,也就是股价,所有的流量、价值、影响力都会形成企业的现金流,这种现金流是价值的最后体现,最后折算成P/E反映到股价和市值上。

但是对于以太坊网络来说,ETH作为以太坊网络多种维度价值的体现,其不仅仅能够通过质押获得稳定的现金流,还能充当价值交换的媒介、价值存储的媒介、网络活动的消费品等。并且,其还充当安全保护层Restaking、Layer2生态系统的Gas Fee等。

Tokenomics非常重要,代币经济学能够规定生态系统的结算物(也就是网络的原生代币)的相对价值,虽然我们无法为每一个维度进行定价,但是我们有了多维度价值的体现,这就是代币的价格。这种价值是远远超越企业的证券存在形式的。一旦为网络赋予代币,并且将该种代币进行流通,类似于腾讯的所有Q币有了限定的数量、通缩通膨的机制、