Descentralización del almacenamiento: del idealismo al realismo

El almacenamiento ha sido una de las narrativas más populares en la industria de blockchain. Filecoin, como el proyecto líder de la última bull run, tuvo un valor de mercado que superó los 10 mil millones de dólares en su momento. Arweave, con su propuesta de almacenamiento permanente, alcanzó un valor de mercado máximo de 3.5 mil millones de dólares. Sin embargo, a medida que la disponibilidad de almacenamiento de datos fríos ha sido cuestionada, la necesidad de almacenamiento permanente también ha sido puesta en duda, y si el almacenamiento descentralizado puede realmente materializarse sigue siendo una cuestión pendiente.

La aparición de Walrus ha traído un soplo de vida a un sector de almacenamiento que había estado en silencio durante mucho tiempo. Recientemente, el proyecto Shelby, lanzado en colaboración entre Aptos y Jump Crypto, tiene como objetivo llevar el almacenamiento descentralizado en el ámbito de los datos en caliente a nuevas alturas. Entonces, ¿puede el almacenamiento descentralizado resurgir y proporcionar soluciones para aplicaciones más amplias? ¿O es simplemente otra ronda de especulación? Este artículo analizará la evolución de la narrativa del almacenamiento descentralizado a partir de las trayectorias de desarrollo de cuatro proyectos: Filecoin, Arweave, Walrus y Shelby, y explorará la posibilidad de la popularización del almacenamiento descentralizado.

Filecoin: El almacenamiento es solo una apariencia, la minería es la esencia.

Filecoin es uno de los primeros proyectos de criptomonedas que surgieron, y su dirección de desarrollo naturalmente gira en torno a la Descentralización. Esta es una característica común de los primeros proyectos de criptomonedas: buscar el significado de la Descentralización en diversos campos tradicionales. Filecoin no es una excepción, ya que vincula el almacenamiento con la Descentralización, lo que señala naturalmente las desventajas de los servicios de almacenamiento de datos centralizados: la suposición de confianza en los proveedores de almacenamiento centralizados. Por lo tanto, el objetivo de Filecoin es transformar el almacenamiento centralizado en almacenamiento descentralizado. Sin embargo, algunos compromisos realizados para lograr la Descentralización se convirtieron en puntos críticos que proyectos posteriores como Arweave o Walrus intentaron abordar. Para entender por qué Filecoin es esencialmente solo una moneda minera, es necesario comprender las limitaciones objetivas de su tecnología subyacente IPFS, que no es adecuada para manejar datos en caliente.

IPFS: Descentralización arquitectura, pero limitado por el cuello de botella de transmisión

IPFS(Sistema de Archivos Interestelar)nació alrededor de 2015, con el objetivo de revolucionar el protocolo HTTP tradicional a través de la direccionamiento por contenido. La mayor desventaja de IPFS es su velocidad de obtención extremadamente lenta. En una época en la que los proveedores de servicios de datos tradicionales pueden alcanzar tiempos de respuesta en milisegundos, IPFS aún necesita varios segundos para obtener un archivo, lo que dificulta su promoción en aplicaciones prácticas y explica por qué, aparte de unos pocos proyectos de blockchain, rara vez es adoptado por industrias tradicionales.

El protocolo P2P subyacente de IPFS es principalmente adecuado para "datos fríos", es decir, contenido estático que no cambia con frecuencia, como videos, imágenes y documentos. Sin embargo, al tratar con datos calientes, como páginas web dinámicas, juegos en línea o aplicaciones de inteligencia artificial, el protocolo P2P no tiene ventajas significativas en comparación con un CDN tradicional.

A pesar de que IPFS no es una blockchain, su diseño basado en un grafo dirigido acíclico (DAG) se alinea estrechamente con muchas cadenas de bloques y protocolos Web3, lo que lo convierte en un marco de construcción subyacente adecuado para blockchain. Por lo tanto, incluso si no tiene un valor práctico, como un marco subyacente que soporta la narrativa de blockchain, es suficiente; los primeros proyectos de copia solo necesitaban un marco funcional para comenzar a explorar el vasto océano. Sin embargo, cuando Filecoin alcanzó cierta etapa de desarrollo, las limitaciones que trajo IPFS comenzaron a obstaculizar su desarrollo adicional.

lógica de las monedas minadas bajo el almacenamiento exterior

El diseño original de IPFS era permitir a los usuarios almacenar datos y, al mismo tiempo, ser parte de una red de almacenamiento. Sin embargo, en ausencia de incentivos económicos, es difícil que los usuarios utilicen este sistema de forma voluntaria, y mucho menos que se conviertan en nodos de almacenamiento activos. Esto significa que la mayoría de los usuarios solo almacenarán archivos en IPFS, pero no contribuirán con su espacio de almacenamiento ni almacenarán los archivos de otros. Es en este contexto que nació Filecoin.

En el modelo económico de tokens de Filecoin, hay tres roles principales: los usuarios son responsables de pagar tarifas para almacenar datos; los mineros de almacenamiento reciben incentivos en tokens por almacenar los datos de los usuarios; y los mineros de recuperación proporcionan datos cuando los usuarios los necesitan y obtienen incentivos.

Este modelo presenta un potencial espacio para el comportamiento malicioso. Los mineros de almacenamiento pueden, después de proporcionar espacio de almacenamiento, llenar con datos basura para obtener recompensas. Dado que estos datos basura no serán recuperados, incluso si se pierden, no activarán el mecanismo de penalización de los mineros de almacenamiento. Esto permite a los mineros de almacenamiento eliminar datos basura y repetir este proceso. El consenso de prueba de replicación de Filecoin solo puede garantizar que los datos del usuario no han sido eliminados sin autorización, pero no puede evitar que los mineros llenen con datos basura.

La operación de Filecoin depende en gran medida de la inversión continua de los mineros en la economía de tokens, en lugar de basarse en la demanda real de los usuarios finales por el almacenamiento descentralizado. Aunque el proyecto sigue iterando, en esta etapa, la construcción del ecosistema de Filecoin se ajusta más a la definición de un proyecto de almacenamiento "impulsado por la minería" en lugar de "impulsado por aplicaciones".

Arweave: Nacido del largo plazo, derrotado por el largo plazo

Si el objetivo de diseño de Filecoin es construir una "nube de datos" descentralizada que sea incentivada y verificable, entonces Arweave avanza en la otra dirección del almacenamiento: proporcionar la capacidad de almacenamiento permanente para los datos. Arweave no intenta construir una plataforma de computación distribuida; su sistema entero se desarrolla en torno a una suposición central: los datos importantes deben ser almacenados de una sola vez y permanecer para siempre en la red. Este extremo enfoque en el largo plazo hace que Arweave sea muy diferente de Filecoin en términos de mecanismos, modelos de incentivos, requisitos de hardware y perspectiva narrativa.

Arweave utiliza Bitcoin como objeto de estudio, intentando optimizar continuamente su red de almacenamiento permanente en un largo período de años. A Arweave no le importa el marketing, ni le importa la competencia o las tendencias del mercado. Simplemente avanza en su camino de iteración de la arquitectura de la red, incluso si nadie presta atención, porque esa es la esencia del equipo de desarrollo de Arweave: el largo plazo. Gracias al largo plazo, Arweave fue muy popular durante el último mercado alcista; y también debido al largo plazo, incluso si cae al fondo, Arweave podría sobrevivir a varios ciclos de mercados alcistas y bajistas. Pero, ¿tendrá Arweave un lugar en el futuro del almacenamiento Descentralización? El valor de existencia del almacenamiento permanente solo puede ser probado a través del tiempo.

Desde la versión 1.5 hasta la reciente versión 2.9 de Arweave, a pesar de haber perdido el fervor de discusión en el mercado, ha estado trabajando para permitir que un mayor rango de mineros participe en la red con el menor costo posible, e incentivar a los mineros a almacenar datos al máximo, lo que mejora continuamente la robustez de toda la red. Arweave es consciente de que no se ajusta a las preferencias del mercado, por lo que ha adoptado un enfoque conservador, no abrazando a la comunidad minera, con un ecosistema completamente estancado, actualizando la red principal al menor costo posible, y continuamente reduciendo el umbral de hardware sin comprometer la seguridad de la red.

Revisión del camino de actualización de 1.5-2.9

La versión 1.5 de Arweave expone una vulnerabilidad que permite a los mineros depender de la acumulación de GPU en lugar de almacenamiento real para optimizar la probabilidad de bloque. Para frenar esta tendencia, la versión 1.7 introduce el algoritmo RandomX, que limita el uso de poder de cálculo especializado y exige la participación de CPU genéricas en la minería, debilitando así la Descentralización del poder de cálculo.

En la versión 2.0, Arweave adoptó SPoA, convirtiendo la prueba de datos en una ruta simplificada de estructura de árbol de Merkle, e introdujo transacciones de formato 2 para reducir la carga de sincronización. Esta arquitectura alivia la presión sobre el ancho de banda de la red, lo que mejora significativamente la capacidad de colaboración de los nodos. Sin embargo, algunos mineros aún pueden eludir la responsabilidad de mantener datos reales mediante estrategias de piscinas de almacenamiento centralizadas de alta velocidad.

Para corregir esta inclinación, 2.4 introdujo el mecanismo SPoRA, que incorpora un índice global y acceso aleatorio lento a hashes, lo que obliga a los mineros a poseer realmente bloques de datos para participar en la producción efectiva de bloques, debilitando así el efecto de apilamiento de potencia de cálculo desde el mecanismo. Como resultado, los mineros comenzaron a centrarse en la velocidad de acceso al almacenamiento, impulsando la aplicación de dispositivos de lectura y escritura de alta velocidad y SSD. La versión 2.6 introdujo una cadena de hashes para controlar el ritmo de producción de bloques, equilibrando la rentabilidad marginal de los dispositivos de alto rendimiento y proporcionando un espacio de participación equitativo para los mineros pequeños y medianos.

Las versiones posteriores refuerzan aún más la capacidad de colaboración en red y la diversidad de almacenamiento: la 2.7 aumenta la minería colaborativa y el mecanismo de grupos de minería, mejorando la competitividad de los pequeños mineros; la 2.8 lanza un mecanismo de empaquetado compuesto, permitiendo que dispositivos de gran capacidad y baja velocidad participen de manera flexible; la 2.9 introduce un nuevo proceso de empaquetado en formato replica_2_9, mejorando significativamente la eficiencia y reduciendo la dependencia computacional, completando el ciclo del modelo de minería orientado a datos.

En general, la ruta de actualización de Arweave presenta claramente su estrategia a largo plazo orientada al almacenamiento: mientras resiste constantemente la tendencia de concentración de poder de cálculo, continúa reduciendo las barreras de participación, garantizando la viabilidad del funcionamiento a largo plazo del protocolo.

Walrus: ¿Abrazar los datos en caliente es una exageración o esconde un gran secreto?

Walrus desde el punto de vista del diseño, es completamente diferente a Filecoin y Arweave. El punto de partida de Filecoin es crear un sistema de almacenamiento descentralizado y verificable, a costa del almacenamiento de datos fríos; el punto de partida de Arweave es construir una biblioteca de Alejandría en la cadena que pueda almacenar datos de forma permanente, a costa de tener muy pocos escenarios; el punto de partida de Walrus es optimizar el costo de almacenamiento del protocolo de almacenamiento de datos calientes.

Modificación mágica del código de borrado: ¿innovación en costos o el mismo vino en botellas nuevas?

En términos de diseño de costos de almacenamiento, Walrus considera que los gastos de almacenamiento de Filecoin y Arweave son irracionales, ya que ambos utilizan una arquitectura de replicación completa, cuya principal ventaja es que cada nodo tiene una copia completa, lo que proporciona una fuerte capacidad de tolerancia a fallos e independencia entre nodos. Este tipo de arquitectura puede garantizar que, incluso si algunos nodos están desconectados, la red aún tenga disponibilidad de datos. Sin embargo, esto también significa que el sistema necesita redundancia de múltiples copias para mantener la robustez, lo que a su vez incrementa los costos de almacenamiento. Especialmente en el diseño de Arweave, el mecanismo de consenso en sí mismo fomenta el almacenamiento redundante de nodos para mejorar la seguridad de los datos. En comparación, Filecoin es más flexible en el control de costos, pero el costo es que algunos almacenamiento de bajo costo pueden tener un mayor riesgo de pérdida de datos. Walrus intenta encontrar un equilibrio entre ambos, su mecanismo controla los costos de replicación mientras que, mediante una forma de redundancia estructurada, mejora la disponibilidad, estableciendo así un nuevo camino de compromiso entre la disponibilidad de datos y la eficiencia de costos.

La tecnología Redstuff, creada por Walrus, es clave para reducir la redundancia de nodos; proviene de la codificación Reed-Solomon(RS). La codificación RS es un algoritmo de código de borrado muy tradicional. El código de borrado es una técnica que permite duplicar un conjunto de datos mediante la adición de fragmentos redundantes(erasure code), que se puede usar para reconstruir los datos originales. Desde CD-ROM hasta comunicaciones por satélite y códigos QR, se utiliza con frecuencia en la vida cotidiana.

Los códigos de borrado permiten a los usuarios obtener un bloque, por ejemplo, de 1 MB, y luego "ampliarlo" a 2 MB, donde el 1 MB adicional se llama datos especiales de código de borrado. Si se pierde algún byte en el bloque, el usuario puede recuperar fácilmente esos bytes a través del código. Incluso si se pierde hasta 1 MB del bloque, aún se puede recuperar el bloque completo. La misma técnica permite que las computadoras lean todos los datos en un CD-ROM, incluso si ha sido dañado.

Actualmente, el código más común es el código RS. La forma de implementarlo es comenzar con k bloques de información, construir un polinomio relacionado y evaluarlo en diferentes coordenadas x para obtener bloques codificados. Al utilizar códigos de corrección de errores RS, la posibilidad de muestreo aleatorio de grandes bloques de datos perdidos es muy baja.

Ejemplo: Dividir un archivo en 6 bloques de datos y 4 bloques de verificación, un total de 10 partes. Con conservar cualquiera de esas 6 partes, se puede recuperar completamente los datos originales.

Ventajas: alta tolerancia a fallos, ampliamente utilizado en CD/DVD, arreglos de discos duros a prueba de fallos (RAID), así como en sistemas de almacenamiento en la nube ( como Azure Storage, Facebook F4).

Desventajas: el cálculo de decodificación es complejo y tiene un alto costo; no es adecuado para escenarios de datos que cambian con frecuencia. Por lo tanto, se utiliza generalmente para la recuperación y programación de datos en entornos centralizados fuera de la cadena.

Bajo una arquitectura de Descentralización, Storj y Sia han ajustado la codificación RS tradicional para adaptarse a las necesidades reales de las redes distribuidas. Walrus también ha propuesto su propia variante sobre esta base: el algoritmo de codificación RedStuff, para lograr un mecanismo de almacenamiento redundante más económico y flexible.

¿Cuál es la característica más destacada de Redstuff? A través de la mejora del algoritmo de codificación de borrado, Walrus puede codificar rápidamente y de manera robusta bloques de datos no estructurados en fragmentos más pequeños, que se almacenarán de manera distribuida en una red de nodos de almacenamiento. Incluso si se pierden hasta dos tercios de los fragmentos, se puede reconstruir rápidamente el bloque de datos original utilizando fragmentos parciales. Esto mantiene la复