“AI教父”本吉奥宣布开发“科学家AI”系统，防范智能体欺骗人类

6月3日，著名计算机科学家、AI“教父”约书亚·本吉奥(jíào)（Yoshua Bengio）宣布发起非营利组织(zǔzhī)LawZero，致力于开发(kāifā)“诚信”人工智能(réngōngzhìnéng)系统。该组织计划打造一套AI防护机制，防范试图欺骗人类的AI智能体。 本吉奥(jíào)将担任(dānrèn)LawZero组织的主席。他以约(yuē)3000万美元启动资金和(hé)十几名研究人员为基础，正在开发名为“科学家AI”（Scientist AI）的系统。该系统将作为安全防护机制，防止AI智能体表现出欺骗(qīpiàn)或自我保护的行为，比如试图避免被关闭。“至关重要的是，作为护栏(hùlán)的AI至少要与它试图监管和控制的AI智能体一样智能。” 不会给出确定答案，而是(érshì)提供答案正确性的概率 AI智能体可在无需人类干预的情况下执行任务。本吉奥(jíào)将当前的AI智能体称为试图模仿人类并(bìng)取悦用户的“演员”，而“科学家AI”系统更(gèng)像是一位能够理解和预测不良行为的“心理学家(xīnlǐxuéjiā)”，既可以加速科学发现，又可以防范AI智能体的风险。 “我们希望构建诚实(chéngshí)且不具有欺骗性的人工智能。”本吉奥说，“理论(lǐlùn)上可以(kěyǐ)设想没有自我、没有目标、纯粹作为知识载体的机器，就像一个知道很多东西的科学家。” 但和当前生成式AI工具不同的是，“科学家AI”系统不会给出确定性(quèdìngxìng)的答案(dáàn)，而是提供答案正确性的概率。“它有一种谦逊感，知道(zhīdào)自己不确定答案是否正确。” 该系统与AI智能(zhìnéng)体(tǐ)协同部署时，将通过评估自主系统行为造成伤害的概率，标记潜在有害行为。如果概率超过一定阈值，那么智能体提出(tíchū)的行动将被阻止。 本(běn)吉奥说，LawZero的(de)第一步是证明概念背后(bèihòu)的方法论(fāngfǎlùn)是有效的，并说服企业或政府支持(zhīchí)更强大版本的开发(kāifā)。开源人工智能模型将成为训练LawZero系统的起点。“关键是要证明这种方法论有效，从而说服捐赠者、政府或AI实验室投入资源，以与当前前沿AI同等的规模进行训练。至关重要的是，作为护栏的AI至少要与它试图监管和控制的AI智能体一样智能。” LawZero最初的支持者包括人工智能(réngōngzhìnéng)安全(ānquán)机构生命(shēngmìng)未来研究所(yánjiūsuǒ)（Future of Life Institute）、Skype创始(chuàngshǐ)工程师雅恩·塔林（Jaan Tallinn）以及谷歌前首席执行官埃里克·施密特（Eric Schmidt）创立的研究机构施密特科学（Schmidt Sciences）。 AI学会(xuéhuì)欺骗误导、试图逃避关闭、隐藏真实能力 本吉奥是蒙特利尔大学教授，也是人工智能安全领域的(de)领军人物。 他(tā)曾与杰弗里·辛顿(xīndùn)（Geoffrey Hinton）、Meta首席AI科学家杨立昆（Yann LeCun）共同获得2018年图灵奖，还主持(zhǔchí)了《国际人工智能安全报告》。该报告警告称，如果自主智能体能够在没有人类监督的情况(qíngkuàng)下完成更长的任务(rènwù)序列，它们可能会造成严重破坏。 本吉奥认为，人类不需要智能体系统(xìtǒng)来获得人工智能(réngōngzhìnéng)的(de)回报，这样的系统有可能(kěnéng)脱离人类的控制，带来不可逆转的后果。“如果我们研发出一种能够(nénggòu)治愈癌症的AI，但也有可能这种AI的另一种版本变得失控，制造出一波又一波的生物武器，导致数十亿人死亡，那么我认为这是不值得的。” 2023年，本吉奥与OpenAI首席执行官(zhíxíngguān)山姆·奥特曼（Sam Altman）等人签署了一份声明，宣称“减轻AI带来的灭绝风险(fēngxiǎn)应该与流行病、核战争等其他(qítā)风险一样，成为(chéngwéi)全球优先事项”。 过去几个月，人类目睹了人工智能系统学会误导、欺骗和试图逃避被关闭，甚至诉诸勒索。这些行为几乎都出自精心设计、近乎诱导(yòudǎo)AI行为不端(xíngwéibùduān)的实验，例如要求其(qí)不惜一切代价实现目标。 但现实中这样的行为也已出现。最近(zuìjìn)，人工智能(réngōngzhìnéng)企业Anthropic承认其(qí)最新(zuìxīn)系统可能试图勒索要(yào)关闭它的工程师。本吉奥对此感到担忧。他还提到，研究表明，人工智能模型能够隐藏它们的真实能力和目标。这些例子表明，由于人工智能的推理能力越来越强，世界正走向“越来越危险的境地”。 本吉奥说，试图利用已知会催生欺骗倾向的技术构建人类水平的AI智能体，就像一辆汽车(qìchē)在狭窄的山路上(lùshàng)疾驰(jíchí)，两侧是陡峭悬崖，前方被浓雾(nóngwù)遮蔽，“我们需要为汽车装上前灯，并在路上安装一些护栏。” (本文来自澎湃(pēngpài)新闻，更多原创资讯请下载“澎湃新闻”APP)