d/acc:一年后的回顾与展望

去年,我发表了一篇关于技术乐观主义的文章,阐述了我对技术的整体热情,以及技术可能带来的巨大利益。同时,我也表达了对某些特定问题的谨慎态度,特别是关于超级智能AI及其可能带来的毁灭风险,或者让人类不可逆转地失去权力的风险。

那篇文章的核心观点是倡导一种去中心化、民主且差异化的防御性加速理念。我们应该加速技术发展,但要有选择地关注那些能增强防御能力而非破坏能力的技术,并致力于分散权力,而不是将权力集中在少数精英手中。防御模式应该像民主的瑞士,而不是中世纪封建主义下的领主和城堡。

过去一年里,这些想法经历了显著的发展和成熟。我在"80,000小时"平台上分享了这些想法,收到了很多反馈,大多是积极的,当然也有一些批评。

这项工作本身也取得了实质性进展:可验证开源疫苗领域有所突破;人们对健康室内空气的认识不断深化;"社区笔记"持续发挥积极作用;预测市场作为信息工具迎来突破之年;零知识证明在政府身份识别和社交媒体领域得到应用;开源成像工具在医学和脑机接口领域取得进展,等等。

去年秋季,我们举办了首个重要的d/acc活动:"d/acc发现日"。活动汇聚了来自d/acc各个支柱领域(生物、物理、网络、信息防御和神经技术)的演讲者,持续了整整一天。长期致力于这些技术的人们开始更多地了解彼此的工作,外部人士也越来越意识到这一更宏大的愿景:推动以太坊和加密货币发展的相同价值观可以拓展到更广阔的世界。

d/acc的内涵与外延

d/acc的核心思想很简单:去中心化、民主且差异化的防御性加速。构建能够促使攻防平衡向防御倾斜的技术,并在实施过程中不依赖于将更多权力交给中央权威机构。这两个方面之间存在内在联系:任何一种去中心化、民主或自由的政治结构,在防御容易实施时往往能蓬勃发展,而在防御面临重重困难时则会遭遇严峻挑战。

理解尝试同时实现去中心化、防御性和加速性的重要意义的一种方式,是将其与放弃这三个方面中的任意一个所产生的理念进行对比。

去中心化加速,但忽视"差异化防御"部分:这类似于成为一名有效加速主义者(e/acc),但同时追求去中心化。这种方式或许能避免特定群体对全球人类实施独裁统治的风险,但它未能解决潜在的结构性问题:在一个有利于进攻的环境中,始终存在灾难降临的持续风险,或者有人会将自己定位为保护者,并永久性地占据统治地位。

差异化防御加速,但忽略"去中心化和民主":为了实现安全目标而接受集中控制,这对一部分人始终具有吸引力。然而,集中控制存在一个程度的问题。这种方式的风险显而易见,那就是中心本身往往会成为风险的源头。我们在新冠疫情期间便已见证了这一点。

去中心化防御,但排斥加速:这本质上是试图减缓技术进步或推动经济衰退。这种策略面临双重挑战:首先,技术和经济增长总体而言对人类极为有益,任何延迟都会带来难以估量的代价;其次,在一个非极权主义的世界中,停滞不前是不稳定的。

通过d/acc,我们致力于实现以下目标:

• 在当今世界日益部落化的趋势下坚守原则,而不仅仅是盲目地构建各种事物。
• 认识到指数级的技术进步意味着世界将变得极为奇特,并且人类在宇宙中的总体"足迹"必然会不断增加。我们保护脆弱的动物、植物和人群免受伤害的能力必须持续提升,而唯一的出路便是勇往直前。
• 构建能够切实保护我们的技术,而不是基于"好人(或好的AI)掌控一切"的假设。我们通过构建在用于构建和保护时自然比用于破坏时更为有效的工具来达成这一目标。

思考d/acc的另一种视角是回归到21世纪00年代末欧洲海盗党运动的一个框架:赋权。我们的目标是构建一个能够保留人类能动性的世界,实现消极自由,即避免他人(无论是普通公民、政府,还是超级智能机器人)对我们塑造自身命运的能力进行积极干预,同时实现积极自由,即确保我们拥有知识和资源去践行这一能力。

第三维度:生存与繁荣的协同发展

在我去年的文章中,d/acc特别聚焦于防御性技术:物理防御、生物防御、网络防御和信息防御。然而,单纯的去中心化防御并不足以构建一个伟大的世界:我们还需要一个具有前瞻性的积极愿景,明确人类在获得新的去中心化和安全性之后能够实现何种目标。

在各个领域中存在着一个一致的模式,即那些能够帮助我们在某一领域"生存"的科学、思想和工具,与能够助力我们"繁荣"的科学、思想和工具密切相关。以下是一些具体例子:

• 众多近期的抗新冠研究聚焦于病毒在体内的持续存在,这被视为长新冠问题的一个关键机制。近来,也有迹象表明病毒持续存在可能是阿尔茨海默病的致病因素。如果这一观点成立,那么解决所有组织类型中的病毒持续存在问题,或许将成为攻克衰老难题的关键所在。

• 低成本和微型成像工具,如Openwater正在研发的那些,在治疗微血栓、病毒持续存在、癌症等方面具有强大的潜力,同时也可应用于脑机接口领域。

• 推动构建适用于高度对抗性环境的社会工具(如社区笔记)和合理合作环境的社会工具(如Pol.is)的理念极为相似。

• 预测市场在高合作和高对抗环境中均具有重要价值。

• 零知识证明及类似技术在保护隐私的同时对数据进行计算,既增加了可用于科学研究等有益工作的数据量,又增强了隐私保护。

• 太阳能和电池对于推动下一波清洁经济增长意义非凡,同时在去中心化和物理弹性方面也表现出色。

除此之外,不同学科领域之间还存在着重要的相互依存关系:

• 脑机接口作为一种信息防御和协作技术至关重要,因为它能够实现我们思想和意图的更精细交流。脑机接口不仅仅是机器人与意识之间的连接:它还可以是意识-机器人-意识之间的交互。

• 许多生物技术依赖于信息共享,而在诸多情况下,人们只有在确信信息仅会用于特定应用时才愿意共享。这依赖于隐私技术(如零知识证明、全同态加密、混淆技术等)。

• 协作技术能够用于协调对其他任何技术领域的资助。

难题:AI安全、紧迫时间线与监管困境

去年我的文章所收到的最具说服力的反对观点来自AI安全社区。其论点为:"当然,如果我们有半个世纪的时间来发展强AI,我们可以集中精力构建所有这些有益的事物。但实际上,看起来我们可能仅有三年时间发展到通用AI,再过三年发展到超级智能。因此,如果我们不想让世界陷入毁灭或以其他方式陷入不可逆转的困境,我们不能仅仅加速有益技术的发展,还必须减缓有害技术的发展,这意味着需要通过可能会触怒权势阶层的强有力监管措施。"在我去年的文章中,除了含糊地呼吁不要构建具有风险的超级智能形式之外,我确实未曾提出任何具体的"减缓有害技术发展"的策略。所以在此,有必要直接探讨这个问题:如果我们身处最不理想的世界,AI风险极高且时间线可能仅有五年之短,我会支持何种监管措施呢?

对新监管持谨慎态度的理由

去年,主要的AI监管提案是加利福尼亚州的SB-1047法案。SB-1047要求最强大模型(即那些训练成本超过1亿美元,或微调成本超过1000万美元的模型)的开发者在发布前采取一系列安全测试措施。此外,如果AI模型开发者未能足够谨慎,将对其追究责任。许多批评者认为该法案"对开源构成威胁";我对此持有异议,因为成本阈值意味着它仅影响最强大的模型:即使是Llama3模型可能也低于该阈值。然而,回顾过去,我认为该法案存在一个更为严重的问题:如同大多数监管措施一样,它过度适应了当前的情况。对训练成本的关注在面对新技术时已被证明是脆弱的:近期最先进的DeepSeek v3模型的训练成本仅为600万美元,而且在像o1这样的新模型中,成本通常从训练更多地转移到了推理阶段。

最有可能对AI超级智能毁灭场景负责的行为者

实际上,最有可能对AI超级智能毁灭场景负责的行为者是军队。正如我们在过去半个世纪的生物安全(及更早时期)中所目睹的那样,军队愿意采取一些可怕的行动,而且他们极易犯错。如今,AI在军事领域的应用正在迅速发展(如在乌克兰、加沙地区的应用)。并且,任何政府通过的安全监管措施,默认情况下都会豁免本国军队以及与军队密切合作的公司。

应对策略

尽管如此,这些论点并非让我们束手无策的理由。相反,我们可以将它们作为指引,尝试制定引发这些担忧最少的规则。

策略1:责任

如果某人的行为以某种方式造成了可依法追究的损害,他们可能会被起诉。这并不能解决来自军队和其他"凌驾于法律之上"的行为者所带来的风险问题,但这是一种非常通用的方法,可避免过度拟合,正因如此,倾向于自由意志主义的经济学家通常支持这种做法。

到目前为止所考虑的主要责任目标如下:

• 用户:即使用AI的人。
• 部署者:为用户提供AI服务的中间人。
• 开发者:构建AI的人。

将责任归于用户似乎最符合激励机制。虽然模型的开发方式与最终使用方式之间的联系往往不明确,但用户决定了AI的具体使用方式。对用户追究责任会产生一种强大的压力,促使人们以我认为正确的方式使用AI:专注于为人类思维构建机械套装,而非创造新的自我