Ahli AI dan tokoh terkemuka telah menonjol dalam berita dengan membuat perbandingan bahawa risiko AI setanding dengan risiko kewujudan dan keselamatan yang dibawa dengan kedatangan zaman nuklear. Mulai kenyataan bahawa AI harus dikenakan pengawalseliaan setanding tenaga nuklear, hingga pengisytiharan memperbandingkan risiko kepupusan manusia dengan risiko perang nuklear, perbandingan yang dibuat antara AI dan nuklear telah konsisten.
Sam Altman, CEO OpenAI, pernah merujuk kepada amalan nuklear yang mapan iaitu “pelesenan”, dianggap anti-persaingan oleh sesetengah pihak. Beliau menyeru penciptaan agensi persekutuan yang boleh memberi lesen untuk mencipta model AI melebihi ambang keupayaan tertentu. Ini seumpama operasi kemudahan nuklear dikehendaki dilesenkan oleh pengawal nuklear, seperti Suruhanjaya Peraturan Nuklear AS dan Pejabat Kawal Selia Nuklear UK.
Rujukan berterusan kepada keselamatan nuklear seharusnya memberi keutamaan dalam mengaplikasikan penilaian dan pengawalseliaan nuklear kepada sistem AI yang dibincangkan. Namun, hanya tentangan yang dihadapi dengan disebutnya Akta AI EU, dokumen yang dikurangkan berbanding kerumitan dan ketelitian peraturan yang diperlukan untuk sistem nuklear. Altman pernah menyatakan bahawa Akta AI EU akan “melarang terlalu”, khususnya menyebut sistem OpenAI sedia ada bukan berisiko tinggi, dan OpenAI akan berhenti beroperasi jika tidak mematuhi Akta AI EU akan datang.
Dua mesej bertentangan dipaparkan. Pertama, risiko masa depan keupayaan AI membawa risiko ketara sehingga skim pelesenan pengawalseliaan setanding nuklear diperlukan, tetapi juga sistem sedia ada tidak memerlukan sebarang pengawalseliaan, walaupun kerosakan terdokumen, dan dianggap tidak ketara. Dan di sini analogi keselamatan nuklear runtuh.
Kejuruteraan Keselamatan, disiplin yang menjamin keselamatan sistem nuklear, berlandaskan kegagalan sistem atau tingkah laku, tidak kira sekecil apa, boleh menggandakan dan membawa kepada peristiwa membinasakan. Semua komponen sistem nuklear, sama ada uranium atau plutonium, perkakasan, dan perisian, sehingga konkrit sebenar, dikawalselia secara berasingan dan ketat. Unsur-unsur ini secara berasingan tidak mengancam malapetaka nuklear, tetapi dalam penyusunan membawa kepada tindak balas fisi nuklear terkawal. Sebaliknya, kegagalan dalam penyusunan itu boleh berkecai menjadi peristiwa membinasakan atau berisiko tinggi. Sebagai contoh, kesilapan perisian kecil dikenali sebagai keadaan perlumbaan membawa kepada kegelapan Timur Laut 2003.
Ketidakupayaan kita mencegah kerosakan AI hari ini, seperti diskriminasi algoritma dan mengurangkan kos disinformasi atau serangan siber, hanya bermakna kita tidak bersedia mengesan dan memahami sebarang implikasi dan kawalan risiko AI yang bergandakan. Dan jika kita kekurangan kemudahan teknikal dan pentadbiran untuk mengawal atau mengukur mekanisme AI yang menghasilkan kerosakan ini, maka kita akan silap untuk percaya bahawa kita mempunyai asas teknikal untuk menyelesaikan risiko berskala lebih besar yang mungkin dibenarkan oleh AI.
Maka mengapa makmal AI menunjukkan tentangan untuk mengikuti ketelitian tahap nuklear yang diperlukan untuk mengekalkan keselamatan pendahulu (seperti ChatGPT) “teknologi tahap kepupusan”? Dalam pos blog pengasas OpenAI, mereka menyatakan bahawa “ia akan penting bagi agensi sedemikian memberi tumpuan kepada mengurangkan risiko kepupusan dan bukan isu-isu yang harus dibiarkan kepada negara-negara individu.” Kenyataan ini cuba melepaskan kerosakan sistem AI sedia ada daripada risiko kepupusan hipotesis, tetapi gagal mengakui prinsip kejuruteraan asas bahawa kerosakan bergandakan.