Децентралізація зберігання: від ідеалізму до реалізму

Зберігання колись було одним із популярних наративів у галузі блокчейну. Filecoin, як провідний проект попереднього бика, вартість якого на деякий час перевищувала 10 мільярдів доларів. Arweave, з його акцентом на постійному зберіганні, досягав максимальної вартості в 3,5 мільярда доларів. Однак, з огляду на те, що доступність холодного зберігання даних піддається сумніву, необхідність постійного зберігання також викликає питання, чи може децентралізоване зберігання справді стати реальністю.

Поява Walrus принесла нове життя в давно затишний сектор зберігання. Нещодавно проект Shelby, запущений спільно Aptos та Jump Crypto, має на меті підняти децентралізоване зберігання в сфері гарячих даних на новий рівень. Чи зможе децентралізоване зберігання повернутися, забезпечивши рішення для більш широкого спектра застосувань? Чи це просто ще один раунд спекуляцій? У цій статті ми розглянемо еволюцію наративу децентралізованого зберігання, проаналізувавши розвиток чотирьох проектів: Filecoin, Arweave, Walrus і Shelby, та обговоримо можливість його популяризації.

Filecoin: зберігання є лише зовнішнім виглядом, майнінг є сутністю

Filecoin був одним із перших криптовалютних проєктів, що з'явилися, і його напрямок, природно, обертається навколо децентралізації. Це було спільною рисою ранніх криптопроєктів – пошуком сенсу децентралізації в різноманітних традиційних доменах. Filecoin не є винятком, пов'язуючи сховище з децентралізацією, що, природно, вказує на зворотний бік централізованих сервісів зберігання даних: припущення довіри до централізованих постачальників сховищ. Таким чином, мета Filecoin полягає в тому, щоб перетворити централізоване сховище в децентралізоване. Однак деякі компроміси, зроблені для досягнення децентралізації, стали больовими точками, які намагалися вирішити пізніші проекти, такі як Arweave або Walrus. Щоб зрозуміти, чому Filecoin по суті є просто монетою для видобутку, необхідно зрозуміти об'єктивні обмеження його базової технології, IPFS, яка не підходить для обробки гарячих даних.

IPFS:Децентралізація архітектури, але обмежена заторами передачі

IPFS(Міжзоряна файлова система)була представлена ще в 2015 році з метою перевернути традиційний протокол HTTP за допомогою адресації за вмістом. Найбільшим недоліком IPFS є надзвичайно повільна швидкість отримання. В епоху, коли традиційні постачальники даних можуть досягати мілісекундних відповідей, для отримання файлу в IPFS все ще потрібно кілька секунд, що ускладнює його впровадження в реальних додатках і пояснює, чому, крім кількох блокчейн-проектів, він рідко використовується в традиційних галузях.

Основний P2P-протокол IPFS підходить для "холодних даних", тобто для статичного контенту, який не часто змінюється, наприклад, відео, зображення та документи. Однак, при обробці гарячих даних, таких як динамічні веб-сторінки, онлайн-ігри або застосунки штучного інтелекту, P2P-протокол не має явних переваг у порівнянні з традиційними CDN.

Хоча IPFS сам по собі не є блокчейном, але його спрямована ациклічна графічна концепція (DAG), що використовується, тісно пов'язана з багатьма публічними ланцюгами та протоколами Web3, робить його природно придатним для використання як базової конструкційної основи для блокчейнів. Тому, навіть якщо він не має практичної цінності, як основна структура для наративу блокчейну це вже достатньо, ранніми проектами-двійниками потрібно було лише мати працюючу основу, щоб розпочати шлях до зірок і океанів. Але коли Filecoin досяг певного етапу, серйозні недоліки IPFS почали заважати його подальшому розвитку.

Логіка майнінгових монет під оболонкою зберігання

Дизайн IPFS був задуманий так, щоб користувачі могли зберігати дані, одночасно будучи частиною мережі зберігання. Однак, за відсутності економічних стимулів, користувачам важко добровільно використовувати цю систему, не говорячи вже про те, щоб стати активними зберігаючими вузлами. Це означає, що більшість користувачів просто зберігатимуть файли в IPFS, але не будуть вносити свій обсяг пам'яті та не зберігатимуть файли інших. Саме в такому контексті з'явився Filecoin.

У економічній моделі токенів Filecoin основними є три ролі: користувачі відповідають за сплату зборів за зберігання даних; майнери зберігання отримують токенне винагородження за зберігання даних користувачів; майнери отримання надають дані, коли користувачі їх потребують, і отримують винагороду.

Ця модель має потенційний простір для зловживань. Зберігаючі майнери можуть після надання простору для зберігання заповнювати сміттєвими даними для отримання винагороди. Оскільки ці сміттєві дані не підлягають вилученню, навіть якщо вони втрачені, це не викликає механізм покарання для зберігаючих майнерів. Це дозволяє зберігаючим майнерам видаляти сміттєві дані та повторювати цей процес. Консенсус підтвердження копій Filecoin може лише забезпечити, що дані користувача не були видалені без дозволу, але не може запобігти заповненню сміттєвими даними.

Запуск Filecoin в значній мірі залежить від постійних вкладень майнерів у токеноміку, а не від реального попиту кінцевих користувачів на розподілене зберігання. Хоча проект постійно ітерується, на даному етапі будівництво екосистеми Filecoin більше відповідає визначенню "логіки майнінгу" аніж "додатко-орієнтованим" проектам зберігання.

Arweave: Створено довгостроковим мисленням, розвалилося через довгострокове мислення

Якщо сказати, що метою дизайну Filecoin є створення стимулюючої, доказової Децентралізації "хмари даних", то Arweave йде в іншому напрямку зберігання до крайнощів: надаючи здатність до постійного зберігання даних. Arweave не намагається побудувати розподілену обчислювальну платформу, вся її система розгортається навколо однієї основної гіпотези - важливі дані повинні зберігатися одноразово і залишатися в мережі назавжди. Цей крайній довгостроковий підхід робить Arweave відмінним від Filecoin у механізмах, моделях стимулювання, апаратних вимогах та наративних аспектах.

Arweave використовує біткоїн як об'єкт навчання, намагаючись постійно оптимізувати свою мережу постійного зберігання протягом тривалих періодів, вимірюваних роками. Arweave не піклується про маркетинг, не звертає уваги на конкурентів і тенденції розвитку ринку. Воно просто продовжує йти вперед на шляху ітерації архітектури мережі, навіть якщо ніхто не цікавиться, тому що це суть команди розробників Arweave: довгостроковість. Завдяки довгостроковості, Arweave була шалено популярна під час останнього бичачого ринку; також через довгостроковість, навіть впавши на дно, Arweave може пережити ще кілька раундів бичачого та ведмежого ринку. Лише час може довести, чи має Arweave місце в майбутньому децентралізованому зберіганні.

Головна мережа Arweave з версії 1.5 до останньої версії 2.9, хоча і втратила популярність у ринкових обговореннях, продовжує працювати над тим, щоб дозволити більшій кількості майнерів брати участь у мережі з мінімальними витратами та заохочувати майнерів максимально зберігати дані, що постійно підвищує міцність всієї мережі. Arweave добре усвідомлює, що не відповідає ринковим уподобанням, тому обрала консервативний шлях, не об'єднуючи майнерські спільноти, екосистема повністю застигла, з мінімальними витратами оновлюючи головну мережу, постійно знижуючи апаратні бар'єри без шкоди для безпеки мережі.

Огляд шляху оновлення 1.5-2.9

Версія Arweave 1.5 виявила вразливість, яка дозволяє майнерам покладатися на стекування GPU, а не на реальне зберігання, для оптимізації ймовірності видобутку блоків. Щоб стримати цю тенденцію, версія 1.7 впроваджує алгоритм RandomX, обмежуючи використання спеціалізованих обчислювальних потужностей і вимагаючи участі універсальних CPU в майнінгу, тим самим послаблюючи централізацію обчислювальної потужності.

У версії 2.0 Arweave використовує SPoA, перетворюючи підтвердження даних у компактний шлях структури дерева Меркла, і вводить транзакції формату 2 для зменшення навантаження синхронізації. Ця архітектура зменшує тиск на мережеву пропускну здатність, що значно підвищує спроможність взаємодії вузлів. Проте, деякі шахтарі все ще можуть уникати відповідальності за реальне зберігання даних за допомогою стратегії централізованих швидкісних сховищ.

Щоб виправити цю упередженість, у 2.4 було введено механізм SPoRA, що включає глобальний індекс та повільний хеш випадкового доступу, вимагаючи від майнерів дійсно володіти блоками даних для участі в ефективному видобутку, що механічно зменшує ефект накопичення обчислювальної потужності. Як наслідок, майнери почали звертати увагу на швидкість доступу до зберігання, що призвело до застосування SSD та пристроїв з високою швидкістю читання та запису. У 2.6 було введено контроль над ритмом видобутку за допомогою хеш-ланцюга, що збалансувало граничну вигоду високопродуктивних пристроїв, забезпечуючи справедливий простір для участі середніх та малих майнерів.

Подальші версії ще більше посилюють мережеву співпрацю та різноманітність зберігання: 2.7 додає механізм кооперативного видобутку та майнінгові пули, підвищуючи конкурентоспроможність малих майнерів; 2.8 впроваджує механізм композитної упаковки, що дозволяє пристроям великої ємності та низької швидкості гнучко брати участь; 2.9 вводить новий процес упаковки у форматі replica_2_9, значно підвищуючи ефективність та знижуючи залежність від обчислень, завершуючи замкнуту петлю моделі видобутку, орієнтованої на дані.

В цілому, шлях оновлення Arweave чітко демонструє його орієнтовану на зберігання довгострокову стратегію: постійно протистояти тенденції до концентрації обчислювальної потужності, одночасно знижуючи бар'єри для участі, забезпечуючи можливість тривалого функціонування протоколу.

Walrus: Обіймати гарячі дані — це хайп чи прихований сенс?

Walrus з точки зору дизайну абсолютно відрізняється від Filecoin та Arweave. Вихідна точка Filecoin полягає в створенні децентралізованої перевіряємої системи зберігання, ціною якої є зберігання холодних даних; вихідна точка Arweave полягає в створенні онлайн-бібліотеки Олександра, яка може зберігати дані назавжди, ціною якої є занадто мало сценаріїв; вихідна точка Walrus полягає в оптимізації витрат на зберігання протоколу для гарячих даних.

Магічна модифікація кодів виправлення: інновація вартості чи нова пляшка для старого вина?

У дизайні витрат на зберігання Walrus вважає, що витрати на зберігання Filecoin і Arweave є нерозумними, оскільки обидва останні використовують архітектуру повного копіювання, основна перевага якої полягає в тому, що кожен вузол має повну копію, що забезпечує високу стійкість до помилок і незалежність між вузлами. Така архітектура може забезпечити доступність даних навіть якщо частина вузлів офлайн. Однак це також означає, що системі потрібна множинна редундантність для підтримання надійності, що, в свою чергу, підвищує витрати на зберігання. Особливо у дизайні Arweave механізм консенсусу сам по собі заохочує редундантне зберігання вузлів для підвищення безпеки даних. У порівнянні, Filecoin має більшу гнучкість в контролі витрат, але ціною цього є те, що частина низьковитратного зберігання може мати вищий ризик втрати даних. Walrus намагається знайти баланс між обома, його механізм контролює витрати на копіювання, одночасно підвищуючи доступність через структуровану редундантність, тим самим встановлюючи новий компроміс між доступністю даних і ефективністю витрат.

Redstuff, створений Walrus, є ключовою технологією для зниження надмірності вузлів, він походить від кодування Reed-Solomon(RS). Код RS є дуже традиційним алгоритмом кодування з виправленням помилок, код з виправленням помилок - це технологія, яка дозволяє подвоїти набір даних за рахунок додавання надмірних фрагментів(erasure code), що може бути використано для відновлення оригінальних даних. Від CD-ROM до супутникового зв'язку та QR-кодів, він часто використовується в повсякденному житті.

Кодування з корекцією помилок дозволяє користувачам отримати блок, наприклад, 1MB, а потім "збільшити" його до 2MB, де додатковий 1MB є спеціальними даними, які називаються кодом корекції помилок. Якщо будь-який байт у блоці втрачається, користувач може легко відновити ці байти за допомогою коду. Навіть якщо втрачається блок до 1MB, ви все одно можете відновити весь блок. Технологія дозволяє комп'ютерам зчитувати всі дані з CD-ROM, навіть якщо він пошкоджений.

Наразі найпоширенішим є кодування RS. Спосіб реалізації полягає в тому, щоб почати з k інформаційних блоків, побудувати відповідний多项式 і оцінити його в різних координатах x, щоб отримати кодувальні блоки. Використовуючи RS-коди корекції помилок, ймовірність випадкової вибірки втрати великих обсягів даних є дуже малою.

Наведемо приклад: поділити файл на 6 даних блоків та 4 контрольних блоки, всього 10 частин. Достатньо зберегти будь-які 6 частин, щоб повністю відновити вихідні дані.

Переваги: висока стійкість до помилок, широко використовується в CD/DVD, системах зберігання безвідмовних жорстких дисків (RAID), а також у хмарних системах зберігання (, таких як Azure Storage, Facebook F4).

Недоліки: складність обчислення декодування, високі витрати; не підходить для сцен, де дані часто змінюються. Тому зазвичай використовується для відновлення та розподілу даних в централізованому середовищі поза ланцюгом.

У децентралізованій архітектурі Storj та Sia внесли корективи в традиційне RS кодування, щоб адаптуватися до реальних потреб розподіленої мережі. Walrus також на цій основі запропонував свій варіант - алгоритм кодування RedStuff, щоб досягти більш низьких витрат і більш гнучкого механізму резервного зберігання.

Яка найбільша особливість Redstuff? Завдяки вдосконаленому алгоритму кодування з виправленням помилок, Walrus може швидко та надійно кодувати неструктуровані блоки даних у менші фрагменти, які зберігаються в мережі зберігання вузлів. Навіть якщо втрачається до двох третин фрагментів, можна швидко відновити оригінальний блок даних за допомогою частини фрагментів. Це дозволяє зберегти