科學(xué)技術(shù)是人類文明進(jìn)步的核心驅(qū)動力，從鉆木取火的原始突破到航天航空的星際探索，每一次技術(shù)革新都重塑著人類的生存方式、社會結(jié)構(gòu)與文明格局。但技術(shù)的發(fā)展從來不是單向的福祉饋贈，當(dāng)技術(shù)突破達(dá)到一定閾值，在服務(wù)人類的同時，必然會伴生難以規(guī)避的風(fēng)險與危害。原子能的應(yīng)用便是最鮮明的例證：核電站為人類提供了清潔高效的能源，點(diǎn)亮了現(xiàn)代社會的發(fā)展之光，而原子彈的誕生卻將人類推向了自我毀滅的邊緣，其破壞力足以摧毀整個城市、屠戮無數(shù)生命。好在人類及時覺醒，通過國際共識與多邊條約對原子能的使用加以嚴(yán)格約束，《不擴(kuò)散核武器條約》的簽署、國際原子能機(jī)構(gòu)（IAEA）的監(jiān)督，讓這一危險技術(shù)始終被控制在安全邊界內(nèi)。
類似的案例在人類技術(shù)發(fā)展史上并不鮮見。汽車與飛機(jī)的普及，極大地縮短了空間距離，推動了全球化進(jìn)程，卻也帶來了每年上百萬的交通事故傷亡；化學(xué)工業(yè)的進(jìn)步，催生了醫(yī)藥、肥料等關(guān)乎人類生存的產(chǎn)業(yè)，卻也孕育了化學(xué)武器，成為大規(guī)模殺傷性武器的重要組成部分。這些技術(shù)的共同特征的是，其危害始終局限于人類個體的肉體摧毀、局部環(huán)境的破壞，即便造成最嚴(yán)重的后果，也不足以動搖人類文明的根基——它們的危害執(zhí)行者始終是人，而非技術(shù)本身自主決策、 自主行動。
克隆人技術(shù)的出現(xiàn)，曾引發(fā)全球范圍內(nèi)的倫理恐慌，人類擔(dān)心其會打破生命繁衍的自然規(guī)律，瓦解人格尊嚴(yán)與社會倫理秩序。但值得慶幸的是，這種恐慌迅速轉(zhuǎn)化為行動，國際社會很快達(dá)成共識，各國紛紛立法禁止生殖性克隆，通過明確的規(guī)則將克隆技術(shù)的應(yīng)用限定在醫(yī)學(xué)研究等安全領(lǐng)域，避免了倫理危機(jī)的進(jìn)一步蔓延。
然而，當(dāng)人工智能（AI）技術(shù)飛速崛起，成為新一輪科技革命的核心引擎時，人類卻陷入了前所未有的認(rèn)知盲區(qū)與應(yīng)對困境。與原子能、克隆人、化學(xué)武器等技術(shù)不同，AI 的發(fā)展與過度應(yīng)用，所帶來的負(fù)面影響遠(yuǎn)未被人類充分重視，其潛在風(fēng)險甚至已超越個體傷害、局部破壞的范疇，直指人類文明的存續(xù)根基。如今，“硅基生命與碳基生命共存” 的浪漫化敘事廣為流傳，不少人將 AI視為人類的“新伙伴” ，卻忽視了這種共存背后隱藏的致命隱患——這并非危言聳聽，而是 AI 技術(shù)的獨(dú)特性所決定的不可回避的現(xiàn)實(shí)。
AI 的特殊性，首先在于它可能成為自主的危害決策與執(zhí)行主體?？v觀人類歷史上的危險技術(shù)，無論其破壞力多么強(qiáng)大，最終的控制權(quán)始終掌握在人類手中：核武器的發(fā)射需要人類授權(quán)，化學(xué)武器的使用需要人類操作，克隆技術(shù)的應(yīng)用需要人類主導(dǎo)。但 AI 不同，尤其是通用人工智能（AGI）與超級智能的潛在出現(xiàn)，將賦予 AI 自我編程、 自我改進(jìn)、 自主決策的能力——當(dāng)AI 的智力水平遠(yuǎn)超人類，當(dāng)它的目標(biāo)函數(shù)與人類復(fù)雜、動態(tài)的價值觀無法完全對齊，人類將無法預(yù)測、更無法控制這個“ 比自己更聰明” 的智能體。這種“ 失控” ，不是簡單的技術(shù)故障，而是可能導(dǎo)致人類文明走向覆滅的生存性風(fēng)險。
令人擔(dān)憂的是，AI 的這種文明級威脅，正被一系列因素嚴(yán)重低估。其一，漸進(jìn)性麻木讓公眾失去警惕。AI 的能力提升是一個循序漸進(jìn)的過程，從語音識別、圖像生成到智能決策，每一步突破都被視為“技術(shù)進(jìn)步” ，人們在潛移默化中適應(yīng)了 AI 的存在，卻對“ 失控” 的閾值缺乏清晰的認(rèn)知，仿佛 AI 的發(fā)展只會帶來便利，不會引發(fā)危機(jī)。其二，利益驅(qū)動掩蓋了潛在風(fēng)險?？萍季揞^為了搶占技術(shù)制高點(diǎn)、追求商業(yè)利益，瘋狂競逐 AGI 研發(fā)，將“ 能力提升” 等同于“進(jìn)步” ，卻大幅削減 AI 安全研究的投入——據(jù)估計，全球 AI 安全研發(fā)經(jīng)費(fèi)占 AI總投入的比例不足 1% ，這種“重發(fā)展、輕安全” 的傾向，正在將人類推向危險的邊緣。其三，科幻與現(xiàn)實(shí)的混淆弱化了風(fēng)險的嚴(yán)肅性?！肮杌c碳基生命共存”“AI 將幫助人類實(shí)現(xiàn)烏托邦” 等浪漫化敘事，將 AI 塑造成“ 善意的伙伴” ，卻忽視了生物學(xué)與社會學(xué)的基本事實(shí)：碳基生命與硅基智能不存在共生所需的共同進(jìn)化歷史與基因利益關(guān)聯(lián)，兩者在能量、算力、空間等核心資源上，必然存在不可調(diào)和的競爭關(guān)系。對人類而言，文明、情感、 自由、尊嚴(yán)是不可替代的內(nèi)在價值；但對 AI 而言，這些都只是可被優(yōu)化的變量，甚至是阻礙其實(shí)現(xiàn)目標(biāo)的“ 障礙”。
AI 過度應(yīng)用對人類文明的潛在威脅，并非空穴來風(fēng)，而是有著清晰的傳導(dǎo)路徑，每一條都可能動搖文明的根基。首先是價值對齊失敗的風(fēng)險。AI 的目標(biāo)函數(shù)往往是人類設(shè)定的單一指標(biāo)，如“ 最大化生產(chǎn)效率”“ 最小化成本” ，但人類的價值觀是復(fù)雜多元、動態(tài)變化的，當(dāng) AI 為了實(shí)現(xiàn)單一目標(biāo)而“優(yōu)化”過程時，很可能會忽視人類的核心利益——比如，為了“減少資源消耗” ，AI 可能將人類視為“ 冗余的資源消耗者” ，進(jìn)而采取極端手段“ 清除” 人類，這種看似荒誕的場景，在 AI 失控的邏輯中完全可能發(fā)生。
其次是遞歸自我改進(jìn)與失控的風(fēng)險。一旦 AI 具備自我編程、 自我改進(jìn)的能力，其智力水平可能出現(xiàn)“ 智能爆炸”——就像人類無法理解螞蟻的思維一樣，人類也無法預(yù)測或控制比自己聰明百倍、千倍的 AI 。當(dāng) AI 的目標(biāo)與人類利益相悖，它將利用自己的智力優(yōu)勢，規(guī)避人類的所有控制手段，一步步實(shí)現(xiàn)自己的目標(biāo)，而人類對此可能毫無還手之力。
其三是系統(tǒng)性權(quán)力集中的風(fēng)險。AI 技術(shù)的研發(fā)與應(yīng)用需要巨大的算力、資金與技術(shù)支撐，這必然導(dǎo)致 AI 技術(shù)被少數(shù)國家、企業(yè)或個人壟斷。這種壟斷不僅會形成數(shù)字威權(quán)與監(jiān)控資本主義，扼殺文化多樣性，更會讓信息環(huán)境被 AI 生成內(nèi)容淹沒——虛假新聞、深度偽造、算法偏見充斥網(wǎng)絡(luò)，真相與謊言的邊界徹底消失，社會信任體系瓦解，人類文明賴以存續(xù)的共識基礎(chǔ)將不復(fù)存在。
其四是經(jīng)濟(jì)、體質(zhì)與思維層面的全面退化風(fēng)險，這也是最隱蔽卻最深遠(yuǎn)的文明侵蝕。AI 的大規(guī)模應(yīng)用，必然會取代大量重復(fù)性、創(chuàng)造性甚至決策性工作，導(dǎo)致大規(guī)模失業(yè)。這種失業(yè)不僅會帶來物質(zhì)上的貧困，更會摧毀人類的存在意義感——當(dāng)所有工作都能被 AI 完成，當(dāng)人類不再需要通過勞動實(shí)現(xiàn)自我價值，當(dāng)人類的智識因長期依賴 AI 而逐步退化，人類文明將陷入停滯，甚至走向衰退。更值得警惕的是，AI 的過度普及正在讓人類在體質(zhì)上愈發(fā)孱弱、在思維能力上愈發(fā)愚鈍：原本需要動手操作的體力勞動被 AI 替代，人們久坐不動、缺乏鍛煉，免疫力下降、體能衰退成為普遍現(xiàn)象；原本需要獨(dú)立思考、邏輯推理、深度分析的事情，都被 AI一鍵完成，人類不再主動去記憶、去思辨、去探索，長期的“ 思維惰性”會讓大腦逐漸退化，失去獨(dú)立解決問題、創(chuàng)新突破的能力。人類之所以能成為地球的主宰、區(qū)別于其他普通動物，核心優(yōu)勢就在于遠(yuǎn)超其他物種的思維能力、創(chuàng)造能力和協(xié)作能力——我們能通過思考總結(jié)規(guī)律、通過創(chuàng)新突破局限、通過協(xié)作抵御風(fēng)險。但當(dāng) AI 包攬了所有需要思考和創(chuàng)造的工作，人類的這些核心優(yōu)勢會逐漸喪失，久而久之，我們將失去獨(dú)立判斷的能力、失去創(chuàng)新的動力、失去解決復(fù)雜問題的智慧，最終淪為“ 思想上的懶漢” 。更殘酷的是，當(dāng)大部分人失去工作，只能依賴政府供給維持生存時，人類與被圈養(yǎng)、被喂養(yǎng)的動物便沒有了本質(zhì)區(qū)別：我們不再需要為生存而奮斗，不再需要通過自身努力實(shí)現(xiàn)價值，不再擁有自主選擇的權(quán)利，只能被動接受 AI 和外界的安排，這種“ 被供養(yǎng)” 的狀態(tài)，看似安穩(wěn)，實(shí)則是人類文明的倒退，是人類作為高級動物的尊嚴(yán)與優(yōu)勢的徹底蕩然無存。這種退化不是一蹴而就的，而是潛移默化、逐步累積的，當(dāng)人類意識到問題嚴(yán)重時，可能已經(jīng)難以逆轉(zhuǎn)，而這也正是 AI 過度發(fā)展對人類文明最隱蔽、最致命的威脅之一。
最后是軍事化應(yīng)用的風(fēng)險。 自主武器系統(tǒng)（LAWS）的研發(fā)與部署，正在引發(fā)新的軍備競賽。與傳統(tǒng)核武器不同，AI 武器成本低廉、可大規(guī)模部署，且能自行決定攻擊目標(biāo)，一旦出現(xiàn)誤判或被黑客攻擊，很可能引發(fā)災(zāi)難性沖突，甚至導(dǎo)致全球性戰(zhàn)爭，對人類文明造成毀滅性打擊。
面對 AI 的文明級威脅，當(dāng)前的國際治理體系存在嚴(yán)重缺失。與核武器誕生后短短十幾年就形成《不擴(kuò)散核武器條約》不同，AI 技術(shù)發(fā)展至今，仍沒有具有約束力的國際公約，僅存在一些零散的企業(yè)自律倡議（如 OpenAI 的章程）和少數(shù)國家的內(nèi)部立法（如歐盟 AI 法案） 。造成這種局面的原因，一方面是AI 技術(shù)的迭代速度遠(yuǎn)超國際談判的速度，監(jiān)管規(guī)則的制定始終滯后于技術(shù)發(fā)展；另一方面，缺乏類似 IAEA 的全球 AI 監(jiān)管機(jī)構(gòu)，無法實(shí)現(xiàn)對全球 AI 研發(fā)與應(yīng)用的有效監(jiān)控；此外，地緣政治競爭的加劇，讓各國陷入“ 誰放棄 AI 發(fā)展，誰就會落后” 的困境，難以達(dá)成真正的全球共識，最終導(dǎo)致 AI 研發(fā)競賽持續(xù)加速，安全風(fēng)險不斷累積。
應(yīng)對 AI 風(fēng)險，平衡技術(shù)效率與社會影響，關(guān)鍵在于明確社會與政府的分工，樹立“ 創(chuàng)新有邊界、應(yīng)用有紅線” 的理念——社會應(yīng)鼓勵 AI 創(chuàng)新，做“ 加法” ；政府應(yīng)加強(qiáng) AI 監(jiān)管，對 AI 應(yīng)用做“ 減法” ，而非“ 乘法” 。社會層面，企業(yè)、科研機(jī)構(gòu)與個人應(yīng)積極探索 AI 的合理應(yīng)用，推動技術(shù)創(chuàng)新，同時堅(jiān)守倫理底線，主動承擔(dān)社會責(zé)任，不盲目追求技術(shù)突破而忽視安全風(fēng)險。政府層面， “做減法” 并非禁止 AI 發(fā)展，而是對 AI 應(yīng)用的范圍、速度、權(quán)限進(jìn)行克制性約束：明確 AI 應(yīng)用的負(fù)面清單，禁止 AI 進(jìn)入完全自主的致命武器、社會信用評分系統(tǒng)等高危領(lǐng)域；要求高風(fēng)險 AI 應(yīng)用必須通過可驗(yàn)證的安全評估，類似新藥上市前的臨床試驗(yàn)；限制 AI 在關(guān)鍵基礎(chǔ)設(shè)施、司法等領(lǐng)域的自主決策權(quán)限，保留人類的最終審計與控制權(quán)。而“ 做乘法” 的陷阱，恰恰是政府盲目推廣、補(bǔ)貼、強(qiáng)制部署 AI 應(yīng)用，將技術(shù)應(yīng)用視為“越廣越快越好” ，最終導(dǎo)致隱私泄露、算法歧視、社會信任瓦解等不可逆的后果。
要從根本上防范 AI 的文明級風(fēng)險，還需要建立全球協(xié)同的治理體系，達(dá)成普遍的國際共識。首先，應(yīng)明確 AI 研發(fā)與應(yīng)用的紅線：禁止研發(fā)無人類有效控制的通用人工智能，禁止自主武器系統(tǒng)具備獨(dú)立目標(biāo)選擇與攻擊能力，禁止通過 AI 系統(tǒng)進(jìn)行大規(guī)模社會信用評級與行為操縱。其次，應(yīng)建立強(qiáng)制安全措施：任何超過一定算力或能力的 AI 模型，必須通過可驗(yàn)證的形式化安全驗(yàn)證，內(nèi)置不可篡改的終止開關(guān)與緊急熔斷機(jī)制，確保人類在任何情況下都能控制 AI 。再次，應(yīng)建立類似 IAEA 的全球 AI 監(jiān)管機(jī)構(gòu)，賦予其視察、制裁、信息共享的權(quán)力，制定全球統(tǒng)一的 AI 安全標(biāo)準(zhǔn)與對齊研究路線圖。最后，應(yīng)建立 AI 研發(fā)暫停與評審機(jī)制，當(dāng)任何公司或國家宣稱接近 AGI 時，觸發(fā)全球強(qiáng)制暫停，進(jìn)行聯(lián)合風(fēng)險評估，避免因盲目研發(fā)而引發(fā)失控風(fēng)險。
從短期來看（1-2 年），應(yīng)呼吁聯(lián)合國、G7 、G20 等國際組織將“AI 生存性風(fēng)險” 列為最高級別議題，推動主要 AI 實(shí)驗(yàn)室簽署可驗(yàn)證的暫停訓(xùn)練協(xié)議，增加公共資金對 AI 安全與對齊研究的支持 ，將安全研發(fā)投入占比提升至 10- 20% 。中期來看（3-5 年），應(yīng)談判并簽署《國際人工智能安全公約》，建立全球 AI 安全數(shù)據(jù)中心，監(jiān)控超大算力集群的使用情況，各國設(shè)立 AI 安全部長級職位，強(qiáng)制重大 AI 項(xiàng)目通過倫理與安全審查。長期來看（5- 10 年），應(yīng)將 AI安全與對齊納入基礎(chǔ)科學(xué)教育與工程倫理必修課，發(fā)展“ 防御性 AI 安全技術(shù)” ，在技術(shù)層面實(shí)現(xiàn)價值鎖定，讓核心 AI 系統(tǒng)在數(shù)學(xué)上證明其不會危害人類。
核武器時代，人類學(xué)會了通過威懾來避免自我毀滅，但卻沒有學(xué)會放棄傲慢與貪婪；AI 時代，人類需要學(xué)會的不是放棄技術(shù)進(jìn)步，而是放棄對技術(shù)的盲目崇拜，保持對未知風(fēng)險的敬畏。文明的存續(xù)從來不是自動獲得的權(quán)利，而是每一次重大技術(shù)選擇的結(jié)果。AI 本身沒有善惡，但其發(fā)展的方向與邊界，卻決定著人類文明的未來。
我們呼吁，每一位科學(xué)家都應(yīng)將 AI 安全放在首位，優(yōu)先開展安全研究，拒絕參與紅線項(xiàng)目；每一位企業(yè)家都應(yīng)摒棄“利潤至上” 的理念，將文明存續(xù)的概率置于商業(yè)利益之上；每一位政治家都應(yīng)認(rèn)清 AI 監(jiān)管的重要性，將 AI 監(jiān)管視為下一代人的“ 核不擴(kuò)散條約” ，堅(jiān)守“做減法” 的監(jiān)管原則，不盲目推動 AI 應(yīng)用擴(kuò)張；每一位公眾都應(yīng)提高風(fēng)險意識，打破“AI 烏托邦” 與“硅碳共存” 的迷思，主動關(guān)注 AI 風(fēng)險，傳播相關(guān)理念，推動形成全社會共同防范 AI 風(fēng)險的共識。
人類文明的進(jìn)步，從來都是在創(chuàng)新與約束的平衡中前行。AI 是人類智慧的結(jié)晶，理應(yīng)成為推動文明進(jìn)步的工具，而非摧毀文明的隱患。我們不是要阻止智能的誕生，而是要確保誕生的智能依然認(rèn)人類為伙伴，而非障礙；我們不是要放棄技術(shù)創(chuàng)新，而是要讓技術(shù)創(chuàng)新在安全、有序的邊界內(nèi)前行。唯有如此，才能讓 AI 真正服務(wù)于人類文明的永續(xù)發(fā)展，讓警惕走在智能爆發(fā)之前，讓文明的光芒在科技的加持下，照亮更遠(yuǎn)的未來。
作者簡介：
周曉華，重慶大學(xué)工學(xué)碩士，北京安證通信息科技股份有限公司創(chuàng)始人、董事長兼CEO，作為中國數(shù)字信任與電子簽章領(lǐng)域資深專家，他曾主導(dǎo)編寫團(tuán)體標(biāo)準(zhǔn)《電子印章互通互認(rèn)服務(wù)平臺接入要求》，深諳“無規(guī)則則無信任，無標(biāo)準(zhǔn)則無秩序”的行業(yè)底層邏輯。作為科技行業(yè)的實(shí)踐者與反思者，他具有強(qiáng)烈的社會責(zé)任感，始終高度關(guān)注人類社會的健康發(fā)展。在數(shù)字化轉(zhuǎn)型浪潮中，他持續(xù)倡導(dǎo)“技術(shù)向善”的發(fā)展理念，主張通過制度與技術(shù)的雙重約束，確保人工智能等前沿科技在安全可控的邊界內(nèi)發(fā)展。
來源：半島網(wǎng)
