d/acc: Tinjauan dan Harapan Setahun Kemudian

Tahun lalu, saya menerbitkan sebuah artikel tentang optimisme teknologi, yang menjelaskan antusiasme saya terhadap teknologi secara keseluruhan, serta manfaat besar yang mungkin dibawa oleh teknologi. Pada saat yang sama, saya juga menyampaikan sikap hati-hati terhadap beberapa masalah tertentu, terutama mengenai AI super cerdas dan risiko penghancuran yang mungkin ditimbulkannya, atau risiko kehilangan kekuasaan secara tidak terbalik bagi umat manusia.

Inti dari artikel tersebut adalah mendorong suatu konsep akselerasi defensif yang terdesentralisasi, demokratis, dan berbeda. Kita harus mempercepat perkembangan teknologi, tetapi dengan selektif memperhatikan teknologi yang dapat meningkatkan kemampuan pertahanan, bukan yang merusak. Kita harus berkomitmen untuk mendistribusikan kekuasaan, bukan mengonsentrasikannya di tangan segelintir elit. Mode pertahanan seharusnya seperti demokrasi di Swiss, bukan seperti para tuan dan kastil di bawah feodalisme abad pertengahan.

Selama setahun terakhir, ide-ide ini telah mengalami perkembangan dan kematangan yang signifikan. Saya telah membagikan ide-ide ini di platform "80.000 Jam" dan menerima banyak umpan balik, sebagian besar positif, tentu saja ada juga beberapa kritik.

Pekerjaan ini sendiri juga telah mencapai kemajuan yang signifikan: ada terobosan dalam bidang vaksin sumber terbuka yang dapat diverifikasi; pemahaman tentang udara dalam ruangan yang sehat terus berkembang; "catatan komunitas" terus memainkan peran positif; pasar prediksi sebagai alat informasi menyambut tahun terobosan; bukti nol pengetahuan diterapkan dalam identifikasi identitas pemerintah dan bidang media sosial; alat pencitraan sumber terbuka telah mencapai kemajuan di bidang kedokteran dan antarmuka otak-mesin, dan lain-lain.

Musim gugur lalu, kami mengadakan acara d/acc penting pertama: "Hari Penemuan d/acc". Acara ini mengumpulkan pembicara dari berbagai bidang pilar d/acc ( biologi, fisika, jaringan, pertahanan informasi, dan teknologi saraf ), yang berlangsung sepanjang hari. Orang-orang yang telah lama terlibat dalam teknologi ini mulai lebih memahami pekerjaan satu sama lain, dan orang luar semakin menyadari visi yang lebih besar ini: mendorong nilai-nilai yang sama dalam pengembangan Ethereum dan cryptocurrency dapat diperluas ke dunia yang lebih luas.

Makna dan Lingkup d/acc

Inti pemikiran d/acc sangat sederhana: percepatan defensif yang terdesentralisasi, demokratis, dan berbeda. Membangun teknologi yang dapat mendorong keseimbangan serangan dan pertahanan untuk condong ke arah pertahanan, tanpa bergantung pada penyerahan lebih banyak kekuasaan kepada otoritas pusat selama proses pelaksanaan. Ada hubungan intrinsik antara kedua aspek ini: setiap struktur politik yang terdesentralisasi, demokratis, atau bebas cenderung berkembang pesat ketika pertahanan mudah diimplementasikan, sementara menghadapi tantangan yang berat ketika pertahanan mengalami kesulitan.

Salah satu cara untuk memahami pentingnya mencoba untuk secara bersamaan mewujudkan desentralisasi, pertahanan, dan percepatan adalah dengan membandingkannya dengan ide yang dihasilkan dari mengabaikan salah satu dari ketiga aspek ini.

Desentralisasi dipercepat, tetapi mengabaikan bagian "pertahanan diferensial": ini mirip dengan menjadi seorang akselerasionis yang efektif (e/acc), tetapi pada saat yang sama mengejar desentralisasi. Pendekatan ini mungkin dapat menghindari risiko kelompok tertentu yang menerapkan kediktatoran atas umat manusia global, tetapi tidak berhasil menyelesaikan masalah struktural potensial: dalam lingkungan yang menguntungkan serangan, selalu ada risiko bencana yang terus-menerus, atau seseorang akan memposisikan diri sebagai pelindung dan secara permanen menduduki posisi dominan.

Pertahanan yang terdistribusi dipercepat, tetapi mengabaikan "desentralisasi dan demokrasi": Menerima kontrol terpusat untuk mencapai tujuan keamanan ini selalu menarik bagi sebagian orang. Namun, ada masalah pada tingkat kontrol terpusat. Risiko dari pendekatan ini jelas, yaitu pusat itu sendiri sering kali menjadi sumber risiko. Kita telah menyaksikan hal ini selama pandemi COVID-19.

Pertahanan terdesentralisasi, tetapi menolak percepatan: ini pada dasarnya mencoba memperlambat kemajuan teknologi atau mendorong resesi ekonomi. Strategi ini menghadapi tantangan ganda: pertama, pertumbuhan teknologi dan ekonomi secara keseluruhan sangat bermanfaat bagi umat manusia, setiap penundaan akan membawa biaya yang sulit diukur; kedua, dalam dunia yang tidak otoriter, stagnasi adalah tidak stabil.

Melalui d/acc, kami berkomitmen untuk mencapai tujuan berikut:

• Mempertahankan prinsip di tengah tren tribalization yang semakin meningkat di dunia saat ini, bukan sekadar membangun berbagai hal secara membabi buta.
• Menyadari bahwa kemajuan teknologi yang eksponensial berarti dunia akan menjadi sangat aneh, dan "jejak" manusia secara keseluruhan di alam semesta pasti akan terus meningkat. Kemampuan kita untuk melindungi hewan, tanaman, dan kelompok yang rentan dari bahaya harus terus ditingkatkan, dan satu-satunya jalan keluar adalah melangkah maju.
• Membangun teknologi yang benar-benar dapat melindungi kita, bukan berdasarkan asumsi "orang baik ( atau AI baik ) mengendalikan segalanya". Kami mencapai tujuan ini dengan membangun alat yang secara alami lebih efektif untuk membangun dan melindungi daripada untuk menghancurkan.

Satu perspektif lain untuk memikirkan d/acc adalah kembali ke kerangka gerakan Partai Bajak Laut Eropa di akhir 2000-an: pemberdayaan. Tujuan kami adalah untuk membangun dunia yang dapat mempertahankan agensi manusia, mencapai kebebasan negatif, yaitu menghindari intervensi aktif dari orang lain ( baik itu warga biasa, pemerintah, atau robot super pintar ) terhadap kemampuan kami untuk membentuk nasib kami sendiri, sekaligus mencapai kebebasan positif, yaitu memastikan kami memiliki pengetahuan dan sumber daya untuk menjalankan kemampuan tersebut.

Dimensi Ketiga: Kolaborasi dalam Bertahan Hidup dan Berkembang

Dalam artikel saya tahun lalu, d/acc secara khusus fokus pada teknologi pertahanan: pertahanan fisik, pertahanan biologis, pertahanan siber, dan pertahanan informasi. Namun, pertahanan desentralisasi semata tidak cukup untuk membangun dunia yang hebat: kita juga memerlukan visi positif yang proaktif, yang menjelaskan tujuan apa yang dapat dicapai umat manusia setelah memperoleh desentralisasi dan keamanan baru.

Di berbagai bidang terdapat pola yang konsisten, yaitu ilmu pengetahuan, pemikiran, dan alat yang dapat membantu kita "bertahan hidup" di suatu bidang, berkaitan erat dengan ilmu pengetahuan, pemikiran, dan alat yang dapat membantu kita "makmur". Berikut adalah beberapa contoh konkret:

• Banyak penelitian terbaru tentang COVID-19 berfokus pada keberadaan virus yang terus-menerus dalam tubuh, yang dianggap sebagai mekanisme kunci dari masalah long COVID. Baru-baru ini, ada juga tanda-tanda bahwa keberadaan virus yang terus-menerus mungkin menjadi faktor patogenik penyakit Alzheimer. Jika pandangan ini benar, maka mengatasi masalah keberadaan virus yang terus-menerus di semua jenis jaringan mungkin akan menjadi kunci untuk mengatasi masalah penuaan.

• Alat pencitraan berbiaya rendah dan mikro, seperti yang sedang dikembangkan oleh Openwater, memiliki potensi besar dalam pengobatan mikrothrombus, keberadaan virus yang persisten, kanker, dan juga dapat diterapkan di bidang antarmuka otak-mesin.

• Mendorong pembangunan alat sosial yang cocok untuk lingkungan yang sangat konfrontatif ( seperti catatan komunitas ) dan alat sosial yang mendukung lingkungan kerja sama yang wajar ( seperti Pol.is ) memiliki konsep yang sangat mirip.

• Pasar prediksi memiliki nilai penting dalam lingkungan kolaborasi tinggi dan konfrontasi tinggi.

• Pembuktian nol-pengetahuan dan teknologi serupa melakukan perhitungan pada data sambil melindungi privasi, baik meningkatkan jumlah data yang dapat digunakan untuk penelitian ilmiah dan pekerjaan bermanfaat lainnya, serta memperkuat perlindungan privasi.

• Energi solar dan baterai memiliki arti penting untuk mendorong gelombang pertumbuhan ekonomi bersih berikutnya, sekaligus menunjukkan kinerja yang luar biasa dalam desentralisasi dan ketahanan fisik.

Selain itu, terdapat hubungan saling ketergantungan yang penting antara berbagai disiplin ilmu:

• Antarmuka otak-mesin sangat penting sebagai teknologi pertahanan informasi dan kolaborasi, karena dapat mewujudkan komunikasi yang lebih halus tentang pikiran dan niat kita. Antarmuka otak-mesin bukan hanya koneksi antara robot dan kesadaran: ia juga dapat menjadi interaksi antara kesadaran-robot-kesadaran.

• Banyak bioteknologi bergantung pada berbagi informasi, dan dalam banyak kasus, orang hanya bersedia untuk berbagi informasi ketika mereka yakin informasi tersebut hanya akan digunakan untuk aplikasi tertentu. Ini bergantung pada teknologi privasi ( seperti bukti tanpa pengetahuan, enkripsi homomorfik penuh, teknologi pengaburan, dll ).

• Teknologi kolaborasi dapat digunakan untuk mengkoordinasikan pendanaan untuk bidang teknologi lainnya.

Tantangan: Keamanan AI, Garis Waktu Mendesak dan Dilema Regulasi

Tahun lalu, argumen yang paling meyakinkan yang saya terima dari komunitas keamanan AI berasal dari. Argumennya adalah: "Tentu saja, jika kita memiliki waktu setengah abad untuk mengembangkan AI yang kuat, kita bisa fokus untuk membangun semua hal yang bermanfaat ini. Namun, kenyataannya, tampaknya kita mungkin hanya memiliki waktu tiga tahun untuk mengembangkan AI umum, dan tiga tahun lagi untuk mengembangkan kecerdasan super. Oleh karena itu, jika kita tidak ingin dunia jatuh ke dalam kehancuran atau terjebak dalam keadaan tidak dapat dipulihkan dengan cara lain, kita tidak bisa hanya mempercepat pengembangan teknologi yang bermanfaat, tetapi juga harus memperlambat pengembangan teknologi yang berbahaya, yang berarti perlu ada langkah-langkah regulasi yang kuat yang mungkin akan membuat pihak berkuasa marah." Dalam artikel saya tahun lalu, selain dengan samar-samar menyerukan untuk tidak membangun bentuk kecerdasan super yang berisiko, saya memang tidak mengajukan strategi konkret untuk "memperlambat pengembangan teknologi yang berbahaya". Jadi di sini, perlu untuk membahas masalah ini secara langsung: Jika kita berada di dunia yang paling tidak ideal, dengan risiko AI yang sangat tinggi dan garis waktu yang mungkin hanya lima tahun, langkah regulasi apa yang akan saya dukung?

Alasan sikap hati-hati terhadap regulasi baru

Tahun lalu, proposal regulasi AI utama adalah undang-undang SB-1047 di California. SB-1047 mengharuskan pengembang model terkuat (, yaitu model yang biaya pelatihannya melebihi 100 juta dolar AS, atau biaya penyetelan melebihi 10 juta dolar AS, untuk mengambil serangkaian langkah pengujian keamanan sebelum rilis. Selain itu, jika pengembang model AI gagal bertindak cukup hati-hati, mereka akan dimintai pertanggungjawaban. Banyak kritikus percaya bahwa undang-undang ini "mengancam sumber terbuka"; saya tidak setuju dengan pendapat ini, karena ambang biaya berarti hanya mempengaruhi model terkuat: bahkan model Llama3 mungkin berada di bawah ambang tersebut. Namun, melihat kembali, saya percaya ada masalah yang lebih serius dengan undang-undang ini: seperti kebanyakan langkah regulasi, ia terlalu menyesuaikan diri dengan situasi saat ini. Fokus pada biaya pelatihan terbukti rentan ketika menghadapi teknologi baru: biaya pelatihan model canggih DeepSeek v3 baru-baru ini hanya 6 juta dolar AS, dan dalam model baru seperti o1, biaya sering kali lebih banyak berpindah dari pelatihan ke tahap inferensi.

Pelaku yang paling mungkin bertanggung jawab atas skenario kehancuran AI super cerdas

Sebenarnya, aktor yang paling mungkin bertanggung jawab atas skenario kehancuran AI super cerdas adalah militer. Seperti yang telah kita saksikan dalam setengah abad terakhir di bidang keamanan biologis ) dan periode sebelumnya (, militer bersedia mengambil beberapa tindakan mengerikan, dan mereka sangat mudah melakukan kesalahan. Saat ini, penerapan AI di bidang militer sedang berkembang pesat ) seperti di Ukraina, dan di wilayah Gaza (. Selain itu, setiap langkah pengawasan keamanan yang diadopsi oleh pemerintah secara default akan mengecualikan militer negara tersebut serta perusahaan yang bekerja sama erat dengan militer.

Strategi penanganan

Meskipun demikian, argumen-argumen ini bukanlah alasan untuk membuat kita putus asa. Sebaliknya, kita bisa menjadikannya sebagai panduan untuk mencoba merumuskan aturan yang meminimalkan kekhawatiran ini.

Strategi 1: Tanggung jawab

Jika perilaku seseorang menyebabkan kerugian yang dapat dituntut secara hukum, mereka mungkin akan diadili. Ini tidak menyelesaikan masalah risiko yang ditimbulkan oleh militer dan pelaku lain yang "di atas hukum", tetapi ini adalah pendekatan yang sangat umum yang dapat menghindari overfitting, dan karena itu, ekonom yang cenderung libertarian biasanya mendukung praktik ini.

Sasaran tanggung jawab utama yang dipertimbangkan hingga saat ini adalah sebagai berikut:

• Pengguna: orang yang menggunakan AI.
• Penyebar: Perantara yang menyediakan layanan AI kepada pengguna.
• Pengembang: Orang yang membangun AI.

Menyalahkan pengguna tampaknya paling sesuai dengan mekanisme insentif. Meskipun cara pengembangan model sering kali tidak jelas terkait dengan cara akhir penggunaannya, pengguna menentukan cara spesifik penggunaan AI. Mempertanggungjawabkan pengguna akan menciptakan tekanan yang kuat, mendorong orang untuk menggunakan AI dengan cara yang saya anggap benar: fokus pada membangun perangkat mekanis untuk pemikiran manusia, bukan menciptakan diri baru.