Еволюція та майбутні перспективи технології індексації даних Блокчейн

1. Вступ

Від найраніших застосувань Блокчейн до сьогоднішнього розмаїття фінансових, ігрових та соціальних dApp, екосистема Блокчейн зазнала величезних змін. У цьому процесі джерела даних, на яких ґрунтується взаємодія dApp, поступово стали об'єктом уваги в галузі.

У 2024 році злиття AI та Web3 стає актуальною темою. У сфері штучного інтелекту дані є життєвим джерелом його зростання та еволюції. Як рослини потребують сонячного світла та вологи для здорового росту, так і системи AI залежать від величезних обсягів даних для постійного навчання та мислення. Без підтримки даних жоден, навіть найскладніший, алгоритм AI не зможе продемонструвати свою справжню інтелектуальність та ефективність.

Ця стаття детально розгляне розвиток доступності даних у Блокчейні, проаналізує еволюцію технологій індексації даних в індустрії та порівняє кілька основних протоколів індексації даних, з особливою увагою до того, як нові протоколи використовують технології ШІ для оптимізації сервісів даних та продуктової архітектури.

2. Еволюція індексації даних: від вузлів до повноцінної блокчейн бази даних

2.1 Джерело даних: Блокчейн-узел

Блокчейн часто описується як децентралізований реєстр. Вузли є основою всієї мережі, відповідальні за запис, зберігання та поширення всіх даних про транзакції в ланцюзі. Кожен вузол зберігає повну копію даних Блокчейн, що забезпечує децентралізовану природу мережі. Проте для звичайних користувачів самостійне створення та обслуговування вузлів не є простим завданням, оскільки це вимагає професійних навичок і пов'язане з високими витратами на апаратуру та пропускну здатність. Крім того, можливості запитів звичайних вузлів обмежені, що ускладнює задоволення потреб розробників.

Щоб вирішити цю проблему, постачальники RPC вузлів з'явилися на світ. Вони несуть витрати та управління вузлами, надаючи послуги з даними через RPC кінцеві точки. Хоча публічні RPC кінцеві точки безкоштовні, вони мають обмеження по швидкості, що може вплинути на досвід користувачів dApp. Приватні RPC кінцеві точки забезпечують кращу продуктивність, але для складних запитів мають низьку ефективність і важко масштабуються та сумісні між мережами. Незважаючи на це, стандартизований API інтерфейс постачальників вузлів знижує бар'єри для доступу користувачів до даних на блокчейні, закладаючи основу для подальшої обробки даних та застосувань.

2.2 Аналіз даних: від сирих даних до придатних для використання даних

Блокчейн вузлів надає сирі дані, які зазвичай проходять через шифрування та кодування, хоча це гарантує цілісність і безпеку даних, але збільшує складність їх аналізу. Для звичайних користувачів і розробників безпосередня обробка цих даних вимагає значних технічних знань і обчислювальних ресурсів.

Процес解析 даних у цьому контексті стає особливо важливим. Перетворюючи складні сирі дані у більш зрозумілий та зручний для роботи формат, користувачі можуть більш інтуїтивно використовувати ці дані. Якість解析у безпосередньо впливає на ефективність та результативність застосування даних Блокчейн, є ключовим етапом у всьому процесі індексації даних.

2.3 Розвиток індексаторів даних

З ростом обсягу даних Блокчейн зростає попит на індексатори даних. Основна функція індексаторів полягає в організації даних на ланцюгу та збереженні їх у базі даних для подальшого запиту. Вони індексують дані Блокчейн та надають інтерфейс запитів, подібний до SQL (такий як GraphQL), що дозволяє даним бути доступними в будь-який час. Цей єдиний інтерфейс запитів дає змогу розробникам швидко та точно отримувати потрібну інформацію, значно спрощуючи весь процес.

Різні типи індексаторів мають свої переваги:

1. Повний вузол-індексатор: безпосередньо витягує дані з повного вузла, забезпечуючи їхню повноту та точність, але вимагає значних обсягів пам'яті та обчислювальних потужностей.
2. Легкий індексатор: залежить від повних вузлів для отримання конкретних даних, знижуючи вимоги до зберігання, але може збільшити час запиту.
3. Спеціалізований індексатор: оптимізація для певних типів даних або Блокчейн, таких як дані NFT або DeFi транзакції.
4. Агрегатор індексів: витягує дані з кількох Блокчейн і джерел, включаючи інформацію поза ланцюгом, забезпечуючи єдиний інтерфейс запитів, підходить для багатоланцюгових dApp.

На даний момент вимоги до зберігання архівних вузлів Ethereum варіюються від 3TB до 13.5TB на різних клієнтах і продовжують зростати з ростом Блокчейн. З огляду на таку величезну кількість даних, основні протоколи індексації не тільки підтримують багатоланковий індекс, але й налаштовують фрейми розбору даних під різні потреби застосування.

Поява індексаторів значно підвищила ефективність індексації даних і запитів. На відміну від традиційних RPC-інтерфейсів, індексатори можуть ефективно обробляти великі обсяги даних, підтримуючи складні запити та фільтрацію даних. Деякі індексатори також підтримують агрегування багатоланцюгових джерел даних, уникнувши проблеми, коли багатоланцюговим dApp потрібно розгортати кілька API. Завдяки дистрибутивному виконанню, індексатори забезпечують вищу безпеку та продуктивність, зменшуючи ризик перерв, які можуть виникнути через централізованих постачальників RPC.

2.4 Повна база даних Блокчейн: Вирівнювання за пріоритетом потоку

З розширенням масштабу проекту стандартизовані API важко задовольнити дедалі складніші вимоги до запитів, такі як пошук, кросчейн-доступ або відображення даних поза ланцюгом. Метод "пріоритету потоків" у сучасній архітектурі даних став рішенням для подолання обмежень традиційної пакетної обробки, забезпечуючи обробку та аналіз даних в реальному часі.

Постачальники послуг даних Блокчейн також розвиваються в напрямку створення потоків даних. Традиційні постачальники індексування випустили продукти потоків даних Блокчейн в режимі реального часу, такі як Substreams певного протоколу та Mirror певної компанії. Водночас нові постачальники послуг, такі як певна платформа даних та певний протокол, також пропонують реальні озера даних, створені на основі Блокчейн.

Ці послуги призначені для задоволення потреб у реальному часі в розшифровці Блокчейн-транзакцій та наданні всебічних можливостей запиту. Переглядаючи управління даними на ланцюзі з точки зору сучасних даних, ми можемо дослідити більше можливостей для зберігання та використання даних. Розглядаючи субграфи та ETL для Ethereum як потік даних, а не як кінцевий вихід, відкриваються нові можливості для налаштування високопродуктивних наборів даних.

3. Поєднання ШІ та бази даних: порівняння основних протоколів

3.1 Деякий децентралізований індексний протокол

Цей протокол надає послуги індексації та запиту даних з багатьох блокчейнів через мережу децентралізованих вузлів. Його основні продукти включають ринок виконання запитів даних та ринок кешування індексу даних, що обслуговують запити користувачів.

Базова структура даних протоколу – це "підграф", який визначає, як витягувати та перетворювати дані з Блокчейн у запитуваний формат. Мережа складається з чотирьох ролей: індексаторів, кураторів, делегатів та розробників, які забезпечують функціонування системи через економічні стимули.

Цей протокол нещодавно досяг значних успіхів у сфері AI застосувань. Основна команда розробників екосистеми створила кілька AI інструментів, таких як механізм динамічного ціноутворення, оптимізатор розподілу ресурсів та інструмент запитів природною мовою, що підвищило інтелектуальність системи та зручність для користувачів.

3.2 деяка повноцінна мережа даних Блокчейн

Це платформа, яка інтегрує всі дані Блокчейн, пропонуючи такі особливі функції, як реальний дата-озеро, дволанкова архітектура, інноваційні стандарти формату даних і модель криптовалютного світу.

Ця платформа побудована на базі певної технології виконавчого шару, що утворює паралельну дволанкову архітектуру з певним алгоритмом консенсусу, що підсилює програмованість та комбінацію крос-ланкових даних. Платформа впровадила новий стандарт формату даних під назвою "manuscripts", оптимізуючи структурування та використання даних у криптоіндустрії.

Платформа поєднує технології AI моделювання, створюючи AI модель, яка здатна розуміти, передбачати Блокчейн транзакції та взаємодіяти з ними. Наразі вже випущено базову версію моделі для публічного використання, яка основана на технології, розробленій певною компанією, поєднуючи дані з блокчейну та поза ним, а також просторово-часову активність, щоб глибше дослідити потенційну цінність і закономірності даних з блокчейну.

3.3 Деякий перевіряємий обчислювальний шар

Цей проект спрямований на створення перевірного обчислювального шару, розширення нульових знань на децентралізованому сховищі даних для надання надійної обробки даних для смарт-контрактів, великих мовних моделей та підприємств.

Проект впровадив інноваційну технологію нульових знань, що забезпечує незмінність і перевірку SQL-запитів, виконуваних на децентралізованому сховищі даних. Ця технологія змінила традиційний спосіб перевірки достовірності даних у мережах Блокчейн, що покладаються на механізми консенсусу, покращуючи загальну продуктивність системи.

Проект співпрацює з лабораторією штучного інтелекту великої технологічної компанії для розробки генеративних AI-інструментів, які спрощують процес обробки даних блокчейну користувачами за допомогою обробки природної мови. Користувачі можуть вводити запити природною мовою, AI автоматично перетворює їх на SQL та виконує запит, представляючи кінцевий результат.

Висновок та перспективи

Технологія індексації даних Блокчейн пройшла еволюційний процес від джерела даних вузла до解析у даних та індексаторів, а потім до повноцінного сервісу даних Блокчейн з підтримкою ШІ. Цей процес постійно підвищує ефективність та точність доступу до даних, надаючи користувачам більш інтелектуальний досвід.

У майбутньому, з розвитком нових технологій, таких як AI технології та нульові знання, послуги даних Блокчейн стануть ще більш інтелектуальними та безпечними. Як інфраструктура, ці послуги продовжать надавати важливу підтримку для прогресу та інновацій в галузі.