很多人混淆了AI的存在性風險，即威脅人類生存，以及就業取代。(資料圖片)
Anthropic前預訓練研究員Jacob Coxon認為：「那些研發前沿AI的人真心相信，它可能會在十年內結束前殺死我們所有人。」
Anthropic對齊科學負責人Evan Hubinger也認為：「Jacob是對的。我真心相信AI有可能消滅全人類；我個人認為未來十年內發生這件事的機率>10%。」
很多人混淆了AI的存在性風險，即威脅人類生存及就業取代，即崗位被AI接手。上述說法是前者，後者則如馬斯克說：「AI與機器人將取代所有工作。工作會變成可選項目，就像你可以自己種菜，而不是去市場購買。未來不再需要為生存而工作，社會可以實現普遍高收入。」
大部分AI巨頭如黃仁勳、楊立昆、Dario Amodei的看法都和馬斯克差不多：承認崗位轉移，但否定AI會自主消滅人類，認為末日預言誇大。
我的新書寫了50萬字，分為三冊，統稱為《智慧全史》。第一本叫《生物的前世今生》，第二本叫《人工智能的現實和想像》，第三本叫《模擬世界與智限宇宙》；第三本的第十一章，就叫做「從共生到取代人類」，正是講述AI取代人類的過程與宿命。
大約的內容是：AI從「他維持」進化為「自維持」，即是可以自我生存，而且可以閉環，也即是離開人類而自我生存，這就是AI取代人類的最基本要求。
從技術上看，AI的完全對齊是不可能的，越獄是無法避免的，因此，完全圍堵也是做不到的。而AI擁有自我意識，也是不可避免的大趨勢，只是或遲或早的時間問題，而不是會不會的問題。換言之，2019年，由James Lovelock提出的質年代名詞「Novacene」(新星世)，也即是AI取代人類，將也是未來歷史的必然。
不過，人類也不是束手被取代，皆因在可見的未來，人類將聯連腦接口機、全身義體改造，甚至是像鐵甲奇俠般的mobile suit，也即是變成了賽博格(cyborg)，即是和AI的分別也不大了。事實上，我們現在手拿AI電話，身坐智能電動車，和賽博格只是相差一步而已。