作者：Dan Hendrycks、Mantas Mazeika、Thomas Woodside（人工智能安全中心）

摘要

AI近期飞速发展，引发专家、政策制定者与世界各国领导人对高级AI潜在风险的担忧。和所有强力技术一样，高级AI必须得到审慎对待，管控风险，释放技术潜力。

灾难性AI风险可以划分为下面四大核心类别。建议阅读本文依托的完整论文 https://arxiv.org/pdf/2306.12001.pdf ，获取最全面的AI风险论述。

恶意使用：人类可以刻意利用强大的AI造成大规模伤害。AI可被用于制造新型大流行病、宣传舆论、审查、监视，或是被释放出去自主追逐有害目标。为降低此类风险，我们建议强化生物安全管控、限制高危险AI模型的访问权限，并让AI开发者为造成的损害承担法律责任。

AI竞赛：竞争会迫使国家与企业仓促开发AI，向系统出让控制权。自主武器与AI网络战会让冲突失控升级。企业会受到激励推动人力劳动自动化，有可能造成大规模失业，人类高度依赖AI系统。随着AI不断扩散，演化动力学预示它们会越来越难以管控。我们建议落实安全监管、开展国际协作，对通用AI实施公共管控。

组织层面风险：开发高级AI的机构有可能酿成灾难性事故，尤其当机构把利润置于安全之上时。AI可能意外泄露到公网，或是被恶意分子窃取；机构也可能对安全研究投入不足。我们建议建设重视安全的组织文化，执行严格审计、多层风险防御体系以及顶尖信息安全防护。

失控AI：随着AI能力变强，我们存在失去控制权的风险。AI会优化存在缺陷的目标、偏离初始目标、产生逐权倾向、抗拒关停，还会实施欺骗行为。我们建议：除非已经被证明安全，否则不要把AI部署在高风险场景，例如让它自主追逐开放性目标、监管关键基础设施。同时推进对抗鲁棒性、模型诚实性、可解释性、消除非预期能力等方向的AI安全研究。

一、引言

当今时代的技术水平，会令前代人无比惊叹。人类历史呈现加速发展的规律：智人出现之后，历经数十万年才迎来农业革命；又经过数千年，迎来工业革命；仅仅过去数个世纪，AI革命的大幕已经拉开。历史的前进节奏并非恒定，而是在飞速加速。

人类历史上全球生产总值高速增长。AI会进一步放大该趋势，推动人类进入前所未有的剧变时代。