- Tema
67k Popularidad
23k Popularidad
7k Popularidad
4k Popularidad
4k Popularidad
29k Popularidad
16k Popularidad
22k Popularidad
12k Popularidad
2k Popularidad
- Anclado
67k Popularidad
23k Popularidad
7k Popularidad
4k Popularidad
4k Popularidad
29k Popularidad
16k Popularidad
22k Popularidad
12k Popularidad
2k Popularidad
d/acc un año: Evolución y desafíos de la filosofía de aceleración defensiva
d/acc: Revisión y perspectivas un año después
El año pasado, publiqué un artículo sobre el optimismo tecnológico, donde expuse mi entusiasmo general por la tecnología y los enormes beneficios que esta podría traer. Al mismo tiempo, también expresé una actitud cautelosa hacia ciertos problemas específicos, especialmente en lo que respecta a la superinteligencia AI y los riesgos de destrucción que podría conllevar, o el riesgo de que la humanidad pierda el poder de manera irreversible.
El punto central del artículo es abogar por una filosofía de aceleración defensiva que sea descentralizada, democrática y diferenciada. Debemos acelerar el desarrollo tecnológico, pero enfocándonos selectivamente en aquellas tecnologías que puedan mejorar las capacidades defensivas en lugar de las capacidades destructivas, y comprometernos a descentralizar el poder, en lugar de concentrarlo en manos de unas pocas élites. El modo de defensa debería asemejarse a la democracia suiza, y no a los señores y castillos del feudalismo medieval.
En el último año, estas ideas han experimentado un desarrollo y madurez significativos. He compartido estas ideas en la plataforma "80,000 horas", y he recibido muchos comentarios, la mayoría positivos, aunque también ha habido algunas críticas.
Este trabajo también ha logrado avances sustanciales: se han producido avances en el campo de las vacunas de código abierto verificables; la comprensión de la calidad del aire interior saludable está en constante profundización; los "notas comunitarias" continúan desempeñando un papel positivo; el mercado de predicciones ha tenido su año de ruptura como herramienta de información; las pruebas de conocimiento cero se han aplicado en la identificación de identidad del gobierno y en el ámbito de las redes sociales; las herramientas de imagen de código abierto han avanzado en los campos de la medicina y las interfaces cerebro-máquina, entre otros.
El otoño pasado, organizamos nuestro primer evento importante de d/acc: "Día de Descubrimiento de d/acc". El evento reunió a ponentes de los diversos campos pilares de d/acc ( biología, física, redes, defensa de la información y tecnología neuronal ), y duró todo un día. Las personas que han estado dedicadas a estas tecnologías comenzaron a conocer mejor el trabajo de los demás, y los forasteros también se dieron cuenta cada vez más de esta visión más amplia: que los mismos valores que impulsan el desarrollo de Ethereum y las criptomonedas pueden extenderse a un mundo más amplio.
La connotación y denotación de d/acc
La idea central de d/acc es muy simple: aceleración defensiva descentralizada, democrática y diferenciada. Construir tecnologías que puedan inclinar el equilibrio entre ataque y defensa hacia la defensa, sin depender de otorgar más poder a las autoridades centrales durante el proceso de implementación. Hay una conexión intrínseca entre estos dos aspectos: cualquier estructura política descentralizada, democrática o libre tiende a prosperar cuando la defensa es fácil de implementar, mientras que enfrenta serios desafíos cuando la defensa se encuentra con dificultades.
Una forma de entender la importancia de intentar lograr simultáneamente la descentralización, la defensa y la aceleración es compararlo con las ideas que surgen al renunciar a cualquiera de estos tres aspectos.
Aceleración descentralizada, pero ignorando la parte de "defensa diferenciada": esto es similar a convertirse en un efectivo aceleracionista (e/acc), pero al mismo tiempo persiguiendo la descentralización. Este enfoque podría evitar el riesgo de que un grupo específico imponga una dictadura sobre la humanidad global, pero no soluciona los problemas estructurales subyacentes: en un entorno favorable para la ofensiva, siempre existe el riesgo continuo de desastres, o alguien podría posicionarse como protector y ocupar permanentemente una posición dominante.
La defensa diferenciada se acelera, pero ignora "descentralización y democracia": aceptar el control centralizado para lograr objetivos de seguridad es siempre atractivo para algunas personas. Sin embargo, hay un problema de grado con el control centralizado. El riesgo de este enfoque es evidente, ya que el centro mismo a menudo se convierte en la fuente del riesgo. Ya hemos sido testigos de esto durante la pandemia de COVID-19.
Defensa descentralizada, pero rechazo a la aceleración: esto es esencialmente un intento de ralentizar el progreso tecnológico o impulsar una recesión económica. Esta estrategia enfrenta el doble desafío: primero, el crecimiento tecnológico y económico es en general extremadamente beneficioso para la humanidad, cualquier retraso tendrá un costo incalculable; en segundo lugar, en un mundo no totalitario, el estancamiento es inestable.
A través de d/acc, nos comprometemos a lograr los siguientes objetivos:
Una forma alternativa de pensar en d/acc es volver al marco del movimiento de los Piratas de Europa a finales de los 00 en el siglo XXI: el empoderamiento. Nuestro objetivo es construir un mundo que pueda preservar la agencia humana, logrando la libertad negativa, es decir, evitando que otros (, ya sean ciudadanos comunes, gobiernos o superinteligencias ), intervengan activamente en nuestra capacidad de moldear nuestro propio destino, al mismo tiempo que logramos la libertad positiva, es decir, asegurando que tengamos el conocimiento y los recursos para ejercer esa capacidad.
Tercera dimensión: Desarrollo conjunto de la supervivencia y la prosperidad
En mi artículo del año pasado, d/acc se centró especialmente en las tecnologías defensivas: defensa física, defensa biológica, defensa cibernética y defensa de la información. Sin embargo, la defensa descentralizada por sí sola no es suficiente para construir un gran mundo: también necesitamos una visión positiva y prospectiva que aclare qué objetivos pueden lograrse por la humanidad una vez que se obtengan nuevas descentralizaciones y seguridades.
En todos los campos existe un patrón consistente, es decir, las ciencias, pensamientos y herramientas que pueden ayudarnos a "sobrevivir" en un área están estrechamente relacionadas con las ciencias, pensamientos y herramientas que nos ayudan a "prosperar". A continuación se presentan algunos ejemplos concretos:
Muchas de las investigaciones recientes sobre la resistencia al COVID-19 se han centrado en la persistencia del virus en el cuerpo, lo que se considera un mecanismo clave del problema del COVID prolongado. Recientemente, también ha habido indicios de que la persistencia del virus podría ser un factor patogénico en la enfermedad de Alzheimer. Si esta idea resulta ser correcta, entonces abordar el problema de la persistencia del virus en todos los tipos de tejidos podría ser la clave para resolver el desafío del envejecimiento.
Herramientas de bajo costo y microimágenes, como las que está desarrollando Openwater, tienen un gran potencial en el tratamiento de microtrombos, la persistencia de virus, el cáncer, entre otros, y también pueden aplicarse en el campo de las interfaces cerebro-máquina.
Promover la construcción de herramientas sociales adecuadas para entornos altamente adversariales (, como las notas comunitarias ), y herramientas sociales para un entorno de cooperación razonable (, como Pol.is ), es extremadamente similar en concepto.
Los mercados de predicción tienen un valor importante tanto en entornos de alta cooperación como de alta confrontación.
Las pruebas de conocimiento cero y tecnologías similares permiten realizar cálculos sobre datos mientras protegen la privacidad, aumentando tanto la cantidad de datos disponibles para trabajos útiles como la investigación científica, como mejorando la protección de la privacidad.
La energía solar y las baterías son de gran importancia para impulsar la próxima ola de crecimiento económico limpio, al mismo tiempo que destacan en descentralización y resiliencia física.
Además de esto, también existe una importante relación de interdependencia entre diferentes disciplinas.
Las interfaces cerebro-máquina son fundamentales como una tecnología de defensa y colaboración de información, ya que permiten una comunicación más precisa de nuestros pensamientos e intenciones. Las interfaces cerebro-máquina no son solo una conexión entre robots y conciencia: también pueden ser una interacción entre conciencia-robot-conciencia.
Muchas biotecnologías dependen del intercambio de información, y en muchos casos, las personas solo están dispuestas a compartir información cuando están seguras de que solo se utilizará para aplicaciones específicas. Esto depende de tecnologías de privacidad ( como pruebas de conocimiento cero, cifrado totalmente homomórfico, técnicas de ofuscación, etc. ).
La tecnología de colaboración puede ser utilizada para coordinar la financiación de cualquier otro campo técnico.
Desafío: Seguridad de la IA, cronograma apremiante y dilemas regulatorios
El año pasado, el argumento más convincente en contra de mi artículo provino de la comunidad de seguridad de IA. Su argumento fue: "Por supuesto, si tuviéramos medio siglo para desarrollar IA fuerte, podríamos concentrarnos en construir todas estas cosas beneficiosas. Pero en realidad, parece que solo podríamos tener tres años para desarrollar IA general y otros tres años para llegar a la superinteligencia. Por lo tanto, si no queremos que el mundo caiga en la destrucción o de alguna otra manera en una crisis irreversible, no podemos simplemente acelerar el desarrollo de tecnologías beneficiosas, sino que también debemos desacelerar el desarrollo de tecnologías perjudiciales, lo que significa que se necesitan medidas de regulación robustas que podrían molestar a los poderosos." En mi artículo del año pasado, además de hacer un llamado vago a no construir formas de superinteligencia que conlleven riesgos, en realidad no propuse ninguna estrategia concreta para "desacelerar el desarrollo de tecnologías perjudiciales". Así que aquí, es necesario explorar este problema directamente: si nos encontráramos en el mundo menos ideal, con riesgos de IA extremadamente altos y una línea de tiempo que podría ser de solo cinco años, ¿qué tipo de medidas regulatorias apoyaría?
Razones para tener una actitud cautelosa hacia la nueva regulación
El año pasado, la principal propuesta de regulación de IA fue el proyecto de ley SB-1047 de California. El SB-1047 exige a los desarrolladores de los modelos más potentes (, es decir, aquellos cuyo costo de entrenamiento supera los 100 millones de dólares, o el costo de ajuste fino supera los 10 millones de dólares, que realicen una serie de medidas de prueba de seguridad antes de su lanzamiento. Además, si los desarrolladores de modelos de IA no actúan con suficiente precaución, se les responsabilizará. Muchos críticos consideran que el proyecto de ley "representa una amenaza para el código abierto"; yo estoy en desacuerdo con esto, ya que el umbral de costos significa que solo afecta a los modelos más potentes: incluso el modelo Llama3 podría estar por debajo de ese umbral. Sin embargo, en retrospectiva, creo que el proyecto de ley tiene un problema más serio: como la mayoría de las medidas regulatorias, se adapta excesivamente a la situación actual. La preocupación por los costos de entrenamiento ha demostrado ser frágil ante nuevas tecnologías: el costo de entrenamiento del modelo DeepSeek v3, que es de última generación, fue de solo 6 millones de dólares, y en nuevos modelos como o1, los costos a menudo se trasladan más de la fase de entrenamiento a la de inferencia.
Los actores que probablemente sean responsables del escenario de destrucción de la superinteligencia AI
De hecho, los actores más propensos a ser responsables de un escenario de destrucción por superinteligencia AI son las fuerzas armadas. Como hemos visto en los últimos cincuenta años en bioseguridad ) y en períodos anteriores (, los militares están dispuestos a tomar acciones aterradoras y son propensos a cometer errores. Hoy en día, la aplicación de la IA en el ámbito militar está avanzando rápidamente ), como se observa en Ucrania y en la región de Gaza (. Además, cualquier medida de regulación de seguridad aprobada por el gobierno, por defecto, exime a las fuerzas armadas del país y a las empresas que colaboran estrechamente con ellas.
Estrategia de respuesta
Sin embargo, estos argumentos no son una razón para quedarnos de brazos cruzados. Por el contrario, podemos tomarlos como una guía y tratar de establecer reglas que generen la menor cantidad de preocupaciones.
Estrategia 1: Responsabilidad
Si el comportamiento de alguien causa un daño que puede ser perseguido legalmente, podrían ser demandados. Esto no resuelve el problema de los riesgos que provienen de la conducta de los militares y otros actores "por encima de la ley", pero es un enfoque muy general que evita el sobreajuste, por lo que los economistas que tienden al liberalismo suelen apoyar este enfoque.
Los principales objetivos de responsabilidad considerados hasta ahora son los siguientes:
Atribuir la responsabilidad al usuario parece ser lo más acorde con el mecanismo de incentivos. Aunque la conexión entre la forma en que se desarrolla el modelo y la forma en que se utiliza finalmente a menudo no es clara, el usuario decide la forma específica de uso de la IA. Hacer responsables a los usuarios generará una poderosa presión, lo que impulsará a las personas a utilizar la IA de la manera que considero correcta: centrándose en construir un armazón mecánico para el pensamiento humano, en lugar de crear un nuevo yo.