ИИ x Крипто: от нуля до вершины

Введение

Развитие отрасли искусственного интеллекта в последнее время рассматривается некоторыми как четвертая промышленная революция. Появление больших моделей значительно повысило эффективность в различных отраслях, по оценкам, оно улучшило рабочую эффективность в США примерно на 20%. В то же время, обобщающая способность больших моделей считается новой парадигмой проектирования программного обеспечения, по сравнению с прошлым точным проектированием кода, современное проектирование программного обеспечения больше ориентировано на встраивание обобщающих больших моделей в программное обеспечение, которое может демонстрировать более высокую производительность и поддерживать более широкий спектр модальностей ввода и вывода. Технология глубокого обучения действительно принесла новый виток процветания в отрасль ИИ, эта волна также распространилась на индустрию криптовалют.

Этот отчет подробно рассмотрит историю развития отрасли ИИ, классификацию технологий и влияние технологий глубокого обучения на отрасль. Затем будет проведен глубокий анализ текущего состояния и трендов в цепочке поставок, включая GPU, облачные вычисления, источники данных и периферийные устройства. Наконец, будет исследовано, в чем суть отношений между криптовалютой и отраслью ИИ, а также проанализирована структура цепочки поставок ИИ, связанная с криптовалютой.

! Новичок в науке丨AI x Crypto: от нуля до пика

История развития AI-индустрии

Искусственный интеллект начал развиваться в 50-х годах 20 века. Для достижения видения искусственного интеллекта академические и промышленные круги в разные эпохи и с различных научных фонов разработали множество направлений для реализации искусственного интеллекта.

Современные технологии искусственного интеллекта в основном используют термин "машинное обучение", который подразумевает, что машины должны полагаться на данные для многократной итерации в задачах с целью улучшения производительности системы. Основные шаги заключаются в том, чтобы передать данные в алгоритм, использовать эти данные для обучения модели, тестировать и разворачивать модель, а затем использовать модель для выполнения автоматизированных прогнозных задач.

В настоящее время в машинном обучении существуют три основных направления: соединительный, символический и бихевиоральный, которые имитируют человеческую нервную систему, мышление и поведение.

В настоящее время соединительный подход, представленный нейронными сетями, доминирует (, также известный как глубокое обучение ). Основная причина заключается в том, что такая архитектура имеет один входной слой и один выходной слой, но несколько скрытых слоев. Когда количество слоев и нейронов ( и параметров ) становится достаточно большим, появляется возможность подстраивать сложные универсальные задачи. Через ввод данных можно постоянно настраивать параметры нейронов, и после множества итераций с данными нейроны достигнут оптимального состояния (, что также является источником его "глубины" - достаточное количество слоев и нейронов.

Глубокие технологии обучения на основе нейронных сетей также прошли через несколько итераций и эволюций, начиная с ранних нейронных сетей, затем переходя к полносвязным нейронным сетям, RNN, CNN, GAN и, наконец, эволюционируя в современные большие модели, такие как GPT, использующие технологию Transformer. Технология Transformer является лишь одним из направлений эволюции нейронных сетей, добавляя преобразователь, который кодирует все модальности ), такие как аудио, видео, изображения и т.д. ( в соответствующие числовые значения для представления. Затем эти данные вводятся в нейронную сеть, что позволяет нейронной сети адаптироваться к любому типу данных, то есть реализовать мультимодальность.

! [Новичок в популярной науке丨AI x Crypto: от нуля до пика])https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp(

Развитие ИИ прошло через три технологических волны:

Первая волна произошла в 60-х годах 20 века, спустя десять лет после появления технологий ИИ. Эта волна была вызвана развитием символистских технологий, которые решили проблемы общего обработки естественного языка и диалога между человеком и машиной. В то же время родились экспертные системы, которые представляли собой систему с очень глубокими знаниями в области химии, позволяющую делать выводы по вопросам и генерировать ответы, подобные экспертам в химии.

Вторая волна технологий ИИ произошла в 1997 году, когда "Глубокий синий" от IBM победил действующего чемпиона мира по шахматам Гарри Каспарова со счетом 3.5:2.5. Эта победа считается вехой в области искусственного интеллекта.

Третья волна технологий ИИ произошла в 2006 году. Три гиганта глубокого обучения предложили концепцию глубокого обучения, алгоритма, использующего искусственные нейронные сети для обучения представления данных. Затем алгоритмы глубокого обучения постепенно эволюционировали, от RNN и GAN до Transformer и Stable Diffusion; эти алгоритмы вместе сформировали третью технологическую волну и стали расцветом коннекционизма.

Множество знаковых событий также постепенно возникло в процессе исследования и эволюции технологий глубокого обучения, включая:

• В 2011 году Уотсон от IBM победил человека и стал чемпионом в викторине «Опасная граница».

• В 2014 году Goodfellow предложил GAN, который позволяет генерировать фотореалистичные изображения, обучая два нейронных сети через взаимные игры.

• В 2015 году Хинтон и др. предложили алгоритм глубокого обучения в журнале "Природа", что сразу же вызвало огромный резонанс в академических кругах и промышленности.

• В 2015 году OpenAI была создана и получила инвестиции в размере 1 миллиарда долларов.

• В 2016 году AlphaGo, основанный на технологиях глубокого обучения, провел матч по го против Ли Сидо с результатом 4:1 в свою пользу.

• В 2017 году Google опубликовал статью «Внимание — это всё, что вам нужно», в которой был представлен алгоритм Transformer, и начали появляться крупномасштабные языковые модели.

• В 2018 году OpenAI выпустила GPT, основанную на алгоритме Transformer, которая была одной из крупнейших языковых моделей на тот момент.

• В 2019 году OpenAI выпустила GPT-2 с 1,5 миллиарда параметров.

• В 2020 году OpenAI разработала GPT-3 с 175 миллиардов параметров, что в 100 раз больше, чем у GPT-2.

• В 2021 году OpenAI выпустила GPT-4 с 1,76 триллиона параметров, что в 10 раз больше, чем у GPT-3.

• В январе 2023 года было выпущено приложение ChatGPT на основе модели GPT-4, в марте оно достигло ста миллионов пользователей, став приложением, которое быстрее всего достигло ста миллионов пользователей в истории.

! [Newcomer Science丨AI x Crypto: от нуля до пика])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(

Цепочка создания ценности в области глубокого обучения

В настоящее время в больших языковых моделях используются методы глубокого обучения на основе нейронных сетей. Большие модели, возглавляемые GPT, вызвали волну интереса к искусственному интеллекту, и множество игроков устремились на этот рынок, что привело к значительному росту спроса на данные и вычислительные мощности. Таким образом, в этой части отчета мы в основном исследуем цепочку создания стоимости алгоритмов глубокого обучения, каковы составные части верхнего и нижнего уровней в AI-индустрии, доминирующей на основе алгоритмов глубокого обучения, каково текущее состояние и соотношение спроса и предложения, а также каковы перспективы развития.

Во-первых, необходимо明确, что при обучении больших моделей, таких как GPT, основанных на технологии Transformer, всего проводится три этапа.

Перед обучением, поскольку основанный на Transformer, преобразователь должен преобразовать текстовый ввод в числовые значения, этот процесс называется "Токенизация", после чего эти числовые значения называются токенами. В общем, одно английское слово или символ можно грубо считать одним токеном, а каждый китайский иероглиф можно грубо считать двумя токенами. Это также основная единица, используемая для оценки GPT.

Первый шаг - предварительное обучение. С помощью достаточного количества пар данных для входного слоя мы ищем оптимальные параметры для различных нейронов модели. Этот процесс требует большого объема данных и является самым ресурсоемким, так как нейроны многократно итеративно пробуют различные параметры. После завершения обучения одной партии данных обычно используется та же партия данных для повторного обучения и итерации параметров.

Шаг второй, дообучение. Дообучение - это предоставление небольшой, но высококачественной выборки данных для тренировки, такие изменения позволят модели выдавать результаты более высокого качества, поскольку предобучение требует большого объема данных, но многие данные могут содержать ошибки или быть низкокачественными. Этап дообучения может повысить качество модели за счет высококачественных данных.

Шаг третий, обучение с подкреплением. Сначала будет создана совершенно новая модель, называемая "моделью вознаграждения", цель этой модели очень проста: сортировать выходные результаты. Затем с помощью этой модели будет определяться, является ли выход больших моделей качественным, таким образом, можно использовать модель вознаграждения для автоматической итерации параметров больших моделей. ) Но иногда также требуется человеческое участие для оценки качества выхода модели (.

В двух словах, в процессе обучения больших моделей предварительное обучение имеет очень высокие требования к объему данных, а необходимая вычислительная мощность GPU также максимальна. В то время как дообучение требует более качественных данных для улучшения параметров, обучение с подкреплением может повторно итеративно изменять параметры с помощью модели вознаграждения для получения более качественных результатов.

В процессе обучения, чем больше параметров, тем выше потолок его обобщающей способности. Таким образом, производительность больших моделей в значительной степени зависит от трех факторов: количества параметров, объема и качества данных, а также вычислительной мощности; эти три фактора совместно влияют на качество результатов и обобщающую способность больших моделей.

Предположим, что количество параметров равно p, объем данных равен n). Если рассматривать количество токенов, то мы можем рассчитать необходимое количество вычислений с помощью общего эмпирического правила, что позволит оценить необходимую для покупки вычислительную мощность и время обучения.

Вычислительная мощность обычно измеряется в Flops, что представляет собой одно плавающее вычисление. Согласно практическому эмпирическому правилу, для предварительного обучения большой модели требуется примерно 6np Flops, причем 6 считается отраслевой константой. А инференс (Inference — это процесс, в котором мы вводим данные и ждем выходных данных от большой модели ), который делится на две части: ввод n токенов и вывод n токенов, тогда в общей сложности потребуется примерно 2np Flops.

На ранних стадиях использовались процессоры CPU для обучения и предоставления вычислительной мощности, но затем постепенно начали использовать графические процессоры GPU, такие как чипы Nvidia A100, H100 и другие. Поскольку CPU используется для общих вычислений, а GPU может использоваться для специализированных вычислений, эффективность потребления энергии GPU значительно превышает эффективность CPU. GPU выполняет операции с плавающей запятой в основном через модуль, называемый Tensor Core. Поэтому у обычных чипов есть данные Flops при точности FP16 / FP32, которые представляют собой их основную вычислительную способность и являются одним из основных критериев оценки чипа.

Мы можем видеть, что для выполнения одной предварительной тренировки требуется огромное количество вычислений, и для этого необходимо использовать множество современных чипов. Параметров GPT-4 в десять раз больше, чем у GPT-3, что означает, что даже при неизменном объеме данных количество чипов необходимо будет купить в десять раз больше. Кроме того, количество токенов у GPT-4 составляет 13 триллионов, что также в десять раз больше, чем у GPT-3. В конечном итоге, возможно, GPT-4 потребует более 100-кратной мощности чипов.

В процессе обучения больших моделей хранение данных также является проблемой, поскольку объем данных огромен, а память GPU обычно довольно мала. Поэтому, когда память не может вместить эти данные, необходимо рассмотреть пропускную способность чипов, то есть скорость передачи данных от жесткого диска к памяти. Поскольку мы не будем использовать только один чип, необходимо применять методы совместного обучения, при которых несколько чипов GPU совместно обучают большую модель, что касается скорости передачи данных между чипами GPU. Таким образом, во многих случаях факторы или затраты, ограничивающие практическое обучение окончательной модели, не обязательно связаны с вычислительной мощностью чипов; чаще всего это может быть пропускная способность чипов. Поскольку передача данных происходит медленно, это приводит к увеличению времени выполнения модели, что увеличивает затраты на электроэнергию.

! Newcomer Science丨AI x Crypto: от нуля до пика

Отношения между криптовалютой и ИИ

Блокчейн извлекает выгоду из развития технологий ZK и эволюционирует в идею децентрализации и устранения доверия. Вернемся к началу создания блокчейна — это цепочка биткойнов. В статье Сатоши Накамото он впервые назван децентрализованной системой передачи ценностей без необходимости доверия. Затем был представлен децентрализованный, бездоверительный платформ для обмена ценностями с помощью умных контрактов.

Возвращаясь к сути, мы считаем, что вся сеть блокчейн является сетью ценностей, каждая транзакция представляет собой преобразование ценности на основе базового токена. Здесь ценность проявляется в форме токенов, а токеномика — это конкретные правила, отражающие ценность токена.

В традиционном интернете создание стоимости осуществляется через P/E, и оно имеет конечное выражение, а именно цену акций. Все потоки, стоимость и влияние формируют денежный поток компании, который является конечным выражением стоимости и в конечном итоге пересчитывается в P/E, отражаясь на цене акций и рыночной капитализации.

Однако для сети Ethereum ETH, как отражение многообразных ценностей сети Ethereum, способен не только обеспечивать стабильный денежный поток через стейкинг, но и служить средством обмена ценностями, средством хранения ценностей, а также потребительским товаром для сетевой активности. Кроме того, он также выполняет функции защитного уровня Restaking и Gas Fee в экосистеме Layer2.

Токеномика очень важна, экономика токенов может определить расчетный объект экосистемы (, а именно относительную стоимость родного токена сети ). Хотя мы не можем установить цену для каждого измерения, у нас есть многомерное выражение стоимости, что и является ценой токена. Эта стоимость значительно превосходит существующие формы ценных бумаг предприятий. Как только токен будет присвоен сети и этот токен будет введен в обращение, аналогично всем Q-валютам Tencent, появится ограниченное количество, механизмы дефляции и инфляции.