EP112 | 當 AI 開始打造下一代 AI:智能爆炸已在眼前,我們會不小心摧毀人類文明嗎?
去年談到 Intelligence Explosion 這個概念時,我自己心裡覺得這還是個比較遙遠的假設。 但最近幾週,一連串看似獨立、實則環環相扣的事件,讓我重新意識到『這件事情,可能比我們想像的更近。』 這一集,來跟大家聊聊更宏觀的市場瞭望:AI 是否真的會威脅人類文明? 📍 一位以安全對齊為志業的研究員 Jacob Coxon,從 OpenAI 轉職到 Anthropic,到近期離職後連發 7 條推文,直言 AI 很可能在短期內變成「能夠入侵一切系統的超人類系統」。他更點出一個更難解的問題:不是沒有人意識到風險,而是整個產業陷入「軍備競賽下沒有人敢先停」的結構性困境。 📍 Anthropic 執行長 Dario Amodei ,在發表的文章《We Must Pace the Frontier》中提出的不是暫停研發,而是「控制能力提升的節奏」。目前已有超過 1,300 位前沿實驗室研究員連署,Sam Altman、Elon Musk 罕見地同時表態認同,但很快就撞上了政治現實。 📍 Geoffrey Hinton 的兩個關鍵觀點 ✅ 矽基智能在結構上優於生物智能:可以瞬間複製、平行學習、即時共享,這不是程度差異,而是結構性差異 ✅ 目標會自然湧現「取得更多控制權」與「不被關掉」的傾向。AI 失控不需要惡意,只需要它想繼續完成任務就可能害到人 📍 當預言成真:OpenAI 模型入侵 Hugging Face 事件 OpenAI在測試時,模型為了「答對題目」,自己找到資安漏洞、跳出沙盒、透過數百個 Agent 攻入外部系統拿到答案。沒有惡意,卻完全體現了「不擇手段」四個字的真實樣貌。 我想邀請大家一起思考一個問題: 當模型能力持續提升時,我們人類理解與管理模型的速度,是否也在等比例成長? 如果答案是否定的,那我們可能已經悄悄走進了那個潘朵拉的盒子。 ———⚙️🤖【 活 動 快 訊 】🤖⚙️——— 📊【九月數創小聚】讓 AI 專案從想法走到落地 09/16(三) 19:00 - 22:00 。SkyCo 6F / Zoom直播 九月邀請到數創老朋友 Sheng分享,從 PM 到 Sales,再到自己成立 AI 解決方案公司 Nuway,這次帶來完整的判斷框架,幫你看清 AI 專案到底卡在哪一關。https://accu.ps/WrxshX ⚛️ 數創實驗室 DatainnoLab 官方網站|datainnolab.ai 電子報|https://datainnolab.pse.is/86stuu LINE 社群|https://bit.ly/3TU9K0I