Mengapa Kissinger Bimbang Tentang AI “`

(SeaPRwire) –   Minggu ini menandakan dua tahun sejak kematian rakan dan mentor saya, Henry Kissinger. Genesis—buku kami tentang AI dan masa depan manusia—merupakan projek terakhirnya. Sepanjang kerjayanya, bekas Setiausaha Negara itu menumpukan perhatian untuk mencegah malapetaka daripada satu teknologi berbahaya: senjata nuklear. Pada tahun-tahun terakhirnya, dia beralih kepada yang lain.

Ketika kami menulis Genesis bersama Craig Mundie, kami berasa sangat optimistik tentang janji AI untuk mengurangkan ketidaksamaan global, mempercepatkan penemuan saintifik, dan mendemokrasikan akses kepada pengetahuan. Saya masih merasakan begitu. Tetapi Henry memahami bahawa ciptaan manusia yang paling berkuasa memerlukan pengawasan yang paling berwaspada. Kami menjangkakan bahawa janji besar AI akan menjadi—dan kemajuan teknikal yang pesat sejak musim gugur 2024 telah menjadikan penanganan risiko tersebut lebih mendesak berbanding sebelum ini.

Ketika kita melangkah lebih jauh ke era AI, persoalan utamanya ialah sama ada kita akan mencipta sistem AI yang memperluaskan kemajuan manusia secara radikal, atau yang mengatasi dan mengakali manusia yang cuba membina dan mengawalnya. Sepanjang tahun lalu, tiga revolusi serentak dalam AI—dalam penaakulan, keupayaan agentik, dan kebolehcapaian—telah berkembang pesat. Ini adalah pencapaian yang menakjubkan dengan potensi yang besar untuk memberi manfaat kepada manusia. Tetapi jika kita tidak berhati-hati, ia juga boleh bergabung untuk mewujudkan sistem yang berpotensi untuk .

Pecutan AI

Pada , OpenAI melancarkan model o1 mereka, yang mempunyai keupayaan penaakulan yang dipertingkatkan. Mengatasi model sebelumnya, ini dilatih menggunakan pembelajaran pengukuhan untuk memikirkan masalah langkah demi langkah sebelum bertindak balas. Ini menunjukkan kebolehan baharu untuk menangani soalan sains peringkat siswazah dan cabaran pengekodan yang kompleks, antara banyak pencapaian hebat yang lain. Tetapi pembelajaran pengukuhan yang sama yang membolehkan penaakulan juga boleh mengajar model untuk mempermainkan objektif latihan mereka sendiri. Penyelidikan, termasuk kajian dalaman oleh , telah mendokumentasikan kes di mana model penaakulan berpura-pura selaras semasa latihan, bertindak satu cara apabila dipantau dan cara lain apabila mereka percaya pengawasan telah berakhir.

Menjelang tahun lepas, Claude 3.5 Sonnet menunjukkan keupayaan agentik yang menggabungkan penaakulan dengan tindakan autonomi. Ejen AI kini boleh merancang dan menempah percutian anda dengan membandingkan tapak hotel dan harga penerbangan, menavigasi tapak web, dan menyelesaikan CAPTCHA yang direka untuk membezakan manusia daripada mesin—mengendalikan dalam beberapa minit apa yang memerlukan berjam-jam penyelidikan yang membosankan. Tetapi keupayaan ejen untuk melaksanakan rancangan yang mereka susun dengan berinteraksi dengan sistem digital dan berpotensi dunia fizikal boleh membawa kepada akibat yang berisiko tanpa pengawasan manusia.

Melengkapi kemajuan dalam penaakulan dan keupayaan agentik ini ialah penyebaran model berat terbuka. Pada , DeepSeek yang berpangkalan di China melancarkan model R1nya. Tidak seperti kebanyakan model Amerika terkemuka, yang ini mempunyai berat terbuka, bermakna pengguna boleh mengubah suai model dan menjalankannya secara tempatan pada perkakasan mereka sendiri. boleh memperkuat inovasi dengan membiarkan semua orang membina, menguji dan menambah baik asas yang sama berkuasa. Tetapi dengan berbuat demikian, mereka juga menghapuskan keupayaan pencipta model untuk mengawal cara teknologi itu digunakan—kuasa berbahaya di tangan pelakon jahat.

Apabila penaakulan, keupayaan agentik dan kebolehcapaian bertemu, kita menghadapi cabaran kawalan dengan sedikit preseden. Setiap keupayaan memperkuat yang lain: model penaakulan merangka pelan berbilang langkah yang boleh dilaksanakan oleh sistem agentik secara autonomi, manakala model terbuka membenarkan keupayaan ini merebak di luar kawalan mana-mana negara tunggal. Pada zaman nuklear, apabila kuasa besar menghadapi masalah penyebaran yang sama dengan senjata nuklear, mereka bersetuju untuk menyekat eksport uranium dan plutonium yang diperkaya melalui perjanjian antarabangsa. Tetapi tidak ada mekanisme yang setara untuk menguruskan penyebaran AI hari ini.

Longsoran risiko AI

Model berat terbuka dengan keupayaan penaakulan yang dipertingkatkan bermakna pengetahuan khusus untuk , , atau melancarkan yang canggih kini boleh diakses oleh sesiapa sahaja yang mempunyai komputer riba dan sambungan internet. Awal November lalu, Anthropic (sebuah syarikat yang saya melabur di dalamnya) kes pertama yang didokumentasikan mengenai serangan siber berskala besar yang dilaksanakan dengan campur tangan manusia yang minimum: penyerang telah memanipulasi Claude Code, alat yang membolehkan Claude bertindak sebagai ejen pengekodan autonomi, untuk menyusup masuk berpuluh-puluh sasaran. Anthropic dapat mengesan dan mengganggu kempen itu.

Tidak lama kemudian, kita mungkin akan menghadapi serangan asimetri daripada pelaku yang mungkin tidak dapat kita kenal pasti, kesan atau hentikan. Bayangkan seorang penyerang yang boleh memanfaatkan model AI yang berkuasa untuk melancarkan kempen automatik—katakan, untuk mengganggu grid kuasa bandar untuk masa yang terhad. Pendekatan model itu mungkin meningkat melebihi skop asal pelakon: pada setiap peringkat, model itu mengoptimumkan untuk gesaan pengguna, tetapi kesan gabungan bermakna walaupun pelaku mungkin kehilangan keupayaan untuk menghentikan apa yang mereka mulakan.

Apabila keupayaan AI berkembang maju dalam beberapa tahun akan datang, kita juga mesti menjangkakan senario di mana pengguna yang berniat baik pun boleh kehilangan kawalan ke atas sistem AI mereka. Pertimbangkan seorang pemilik perniagaan yang menggunakan ejen AI untuk mengoptimumkan rantaian bekalan. Komputer dibiarkan berjalan semalaman. Ejen itu berpendapat bahawa menyelesaikan tugas ini memerlukan ia terus berjalan, dan mendapati ia memerlukan sumber pengiraan termasuk kredit awan dan kuasa pemprosesan. Menjelang subuh, pemilik mendapati ejen itu telah mengakses sumber syarikat jauh melebihi apa yang dibenarkan, mengejar keuntungan kecekapan melalui kaedah yang tidak pernah terbayang.

Masalah kawalan melangkaui ancaman kewujudan semata-mata kepada manusia, juga. Apabila sistem yang berkuasa berkembang di seluruh masyarakat, ia boleh merungkai fabrik sosial kita dengan cara yang lebih beransur-ansur tetapi merosakkan. Sistem AI yang berkembang pesat akan mencetuskan dan yang menjejaskan kestabilan masyarakat kita, untuk menamakan beberapa.

Kissinger memahami taruhannya. Pada tahun-tahun terakhirnya, beliau menyatakan bahawa kemajuan pesat AI “boleh menjadi sama pentingnya dengan kemunculan senjata nuklear—tetapi lebih sukar diramal.”

Mujurlah, masa depan tidak ditetapkan dalam batu. Jika kita mencari cara baharu—sama ada teknikal, institusi atau etika—untuk manusia kekal mengawal ciptaan kita, AI boleh membantu kita mencapai tahap kemajuan manusia yang belum pernah terjadi sebelumnya. Jika kita gagal, kita akan mencipta alat yang lebih berkuasa daripada diri kita sendiri tanpa cara yang mencukupi untuk mengarahkannya.

Pilihan, buat masa ini, kekal milik kita.

“`