“AI教父”本吉奥宣布开发“科学家AI”系统,防范智能体欺骗人类
“AI教父”本吉奥宣布开发“科学家AI”系统,防范智能体欺骗人类
“AI教父”本吉奥宣布开发“科学家AI”系统,防范智能体欺骗人类6月3日(rì),著名计算机科学家、AI“教父”约书亚·本吉奥(Yoshua Bengio)宣布发起非营利组织LawZero,致力于开发(kāifā)“诚信”人工智能(réngōngzhìnéng)系统。该组织计划(jìhuà)打造一套AI防护机制,防范试图欺骗人类的AI智能体。
本吉奥将担任LawZero组织(zǔzhī)的主席。他(tā)以(yǐ)约3000万美元启动资金和十几名研究人员为基础,正在开发名为“科学家AI”(Scientist AI)的系统。该系统将作为安全防护机制,防止AI智能体表现出(xiànchū)欺骗或自我保护的行为,比如试图(shìtú)避免被关闭(guānbì)。“至关重要的是,作为护栏的AI至少要与它试图监管和控制的AI智能体一样智能。”
不会给出确定答案,而是提供答案正确性(zhèngquèxìng)的概率
AI智能体(tǐ)可在无需人类干预的(de)情况下执行任务。本吉奥将当前的AI智能体称为试图模仿人类并取悦(qǔyuè)用户的“演员”,而“科学家AI”系统更像是一位能够理解和预测不良行为的“心理学家”,既可以加速科学发现,又可以防范AI智能体的风险。
“我们希望构建诚实且不具有欺骗性的人工智能。”本吉奥说,“理论上可以设想(shèxiǎng)没有自我、没有目标、纯粹作为知识载体(zàitǐ)的机器,就像一个(yígè)知道很多东西的科学家。”
但和当前生成式AI工具不同的是,“科学家(kēxuéjiā)AI”系统不会给出确定性的答案,而是提供答案正确性的概率。“它有(yǒu)一种谦逊(qiānxùn)感,知道自己不确定答案是否正确。”
该系统(xìtǒng)与AI智能体协同部署(bùshǔ)时,将通过评估自主系统行为造成伤害的概率(gàilǜ),标记潜在有害行为。如果概率超过一定阈值,那么智能体提出的行动将被阻止。
本吉奥说,LawZero的第一步是证明概念背后的方法论是有效(yǒuxiào)的,并说服企业或政府(zhèngfǔ)支持更强大版本(bǎnběn)的开发。开源人工智能模型(móxíng)将成为训练LawZero系统的起点。“关键是要(yào)证明这种方法论有效,从而说服捐赠者、政府或AI实验室投入资源,以与当前前沿AI同等的规模进行训练。至关重要的是,作为护栏的AI至少(zhìshǎo)要与它试图监管和控制的AI智能体一样智能。”
LawZero最初的(de)支持者(zhīchízhě)包括人工智能安全机构生命未来研究所(yánjiūsuǒ)(Future of Life Institute)、Skype创始工程师雅恩·塔林(Jaan Tallinn)以及谷歌前首席(shǒuxí)执行官埃里克(āilǐkè)·施密特(Eric Schmidt)创立的研究机构施密特科学(Schmidt Sciences)。
AI学会欺骗误导(wùdǎo)、试图逃避关闭、隐藏真实能力
本吉奥是蒙特利尔(méngtèlìěr)大学教授,也是人工智能安全领域的领军人物。
他曾与杰弗里·辛顿(Geoffrey Hinton)、Meta首席AI科学家杨立昆(Yann LeCun)共同获得2018年图灵奖,还主持(zhǔchí)了《国际人工智能安全报告》。该报告警告称,如果自主智能体能够在没有(méiyǒu)人类(rénlèi)监督的情况下(xià)完成(wánchéng)更长的任务序列,它们可能会造成严重破坏。
本吉奥(jíào)认为,人类不需要(xūyào)智能体系统来获得(huòdé)人工智能的回报,这样的系统有可能(kěnéng)脱离人类的控制,带来不可逆转的后果。“如果我们研发出一种能够治愈癌症的AI,但也有可能这种AI的另一种版本变得失控,制造出一波又一波的生物武器,导致数十亿人死亡,那么(nàme)我认为这是不值得的。”
2023年,本吉奥与OpenAI首席执行官山姆·奥特曼(Sam Altman)等(děng)人签署了一份声明,宣称“减轻AI带来的灭绝(mièjué)风险应该与流行病、核战争等其他风险一样(yīyàng),成为(chéngwéi)全球优先事项”。
过去几个月,人类目睹了人工智能系统学会误导、欺骗和试图逃避被关闭,甚至诉诸勒索。这些行为几乎都出自精心设计、近乎诱导AI行为不端的实验,例如要求其(qí)不惜一切(bùxīyīqiè)代价(dàijià)实现目标。
但现实中这样(zhèyàng)的(de)行为(xíngwéi)也已出现(chūxiàn)。最近,人工智能企业Anthropic承认其最新系统(xìtǒng)可能试图勒索要关闭它的工程师。本吉奥对此感到担忧。他还提到,研究表明,人工智能模型能够隐藏它们的真实能力和目标。这些例子表明,由于人工智能的推理能力越来越强,世界正走向“越来越危险的境地”。
本吉奥说,试图利用已知会催生欺骗倾向的(de)技术构建人类水平的AI智能体(tǐ),就像(xiàng)一辆汽车(qìchē)在狭窄的山路上疾驰,两侧是陡峭悬崖,前方被浓雾遮蔽,“我们需要为汽车装上前灯,并在路上安装一些护栏。”
(本文来自澎湃新闻,更(gèng)多原创资讯请下载“澎湃新闻”APP)
6月3日(rì),著名计算机科学家、AI“教父”约书亚·本吉奥(Yoshua Bengio)宣布发起非营利组织LawZero,致力于开发(kāifā)“诚信”人工智能(réngōngzhìnéng)系统。该组织计划(jìhuà)打造一套AI防护机制,防范试图欺骗人类的AI智能体。
本吉奥将担任LawZero组织(zǔzhī)的主席。他(tā)以(yǐ)约3000万美元启动资金和十几名研究人员为基础,正在开发名为“科学家AI”(Scientist AI)的系统。该系统将作为安全防护机制,防止AI智能体表现出(xiànchū)欺骗或自我保护的行为,比如试图(shìtú)避免被关闭(guānbì)。“至关重要的是,作为护栏的AI至少要与它试图监管和控制的AI智能体一样智能。”
不会给出确定答案,而是提供答案正确性(zhèngquèxìng)的概率
AI智能体(tǐ)可在无需人类干预的(de)情况下执行任务。本吉奥将当前的AI智能体称为试图模仿人类并取悦(qǔyuè)用户的“演员”,而“科学家AI”系统更像是一位能够理解和预测不良行为的“心理学家”,既可以加速科学发现,又可以防范AI智能体的风险。
“我们希望构建诚实且不具有欺骗性的人工智能。”本吉奥说,“理论上可以设想(shèxiǎng)没有自我、没有目标、纯粹作为知识载体(zàitǐ)的机器,就像一个(yígè)知道很多东西的科学家。”
但和当前生成式AI工具不同的是,“科学家(kēxuéjiā)AI”系统不会给出确定性的答案,而是提供答案正确性的概率。“它有(yǒu)一种谦逊(qiānxùn)感,知道自己不确定答案是否正确。”
该系统(xìtǒng)与AI智能体协同部署(bùshǔ)时,将通过评估自主系统行为造成伤害的概率(gàilǜ),标记潜在有害行为。如果概率超过一定阈值,那么智能体提出的行动将被阻止。
本吉奥说,LawZero的第一步是证明概念背后的方法论是有效(yǒuxiào)的,并说服企业或政府(zhèngfǔ)支持更强大版本(bǎnběn)的开发。开源人工智能模型(móxíng)将成为训练LawZero系统的起点。“关键是要(yào)证明这种方法论有效,从而说服捐赠者、政府或AI实验室投入资源,以与当前前沿AI同等的规模进行训练。至关重要的是,作为护栏的AI至少(zhìshǎo)要与它试图监管和控制的AI智能体一样智能。”
LawZero最初的(de)支持者(zhīchízhě)包括人工智能安全机构生命未来研究所(yánjiūsuǒ)(Future of Life Institute)、Skype创始工程师雅恩·塔林(Jaan Tallinn)以及谷歌前首席(shǒuxí)执行官埃里克(āilǐkè)·施密特(Eric Schmidt)创立的研究机构施密特科学(Schmidt Sciences)。
AI学会欺骗误导(wùdǎo)、试图逃避关闭、隐藏真实能力
本吉奥是蒙特利尔(méngtèlìěr)大学教授,也是人工智能安全领域的领军人物。
他曾与杰弗里·辛顿(Geoffrey Hinton)、Meta首席AI科学家杨立昆(Yann LeCun)共同获得2018年图灵奖,还主持(zhǔchí)了《国际人工智能安全报告》。该报告警告称,如果自主智能体能够在没有(méiyǒu)人类(rénlèi)监督的情况下(xià)完成(wánchéng)更长的任务序列,它们可能会造成严重破坏。
本吉奥(jíào)认为,人类不需要(xūyào)智能体系统来获得(huòdé)人工智能的回报,这样的系统有可能(kěnéng)脱离人类的控制,带来不可逆转的后果。“如果我们研发出一种能够治愈癌症的AI,但也有可能这种AI的另一种版本变得失控,制造出一波又一波的生物武器,导致数十亿人死亡,那么(nàme)我认为这是不值得的。”
2023年,本吉奥与OpenAI首席执行官山姆·奥特曼(Sam Altman)等(děng)人签署了一份声明,宣称“减轻AI带来的灭绝(mièjué)风险应该与流行病、核战争等其他风险一样(yīyàng),成为(chéngwéi)全球优先事项”。
过去几个月,人类目睹了人工智能系统学会误导、欺骗和试图逃避被关闭,甚至诉诸勒索。这些行为几乎都出自精心设计、近乎诱导AI行为不端的实验,例如要求其(qí)不惜一切(bùxīyīqiè)代价(dàijià)实现目标。
但现实中这样(zhèyàng)的(de)行为(xíngwéi)也已出现(chūxiàn)。最近,人工智能企业Anthropic承认其最新系统(xìtǒng)可能试图勒索要关闭它的工程师。本吉奥对此感到担忧。他还提到,研究表明,人工智能模型能够隐藏它们的真实能力和目标。这些例子表明,由于人工智能的推理能力越来越强,世界正走向“越来越危险的境地”。
本吉奥说,试图利用已知会催生欺骗倾向的(de)技术构建人类水平的AI智能体(tǐ),就像(xiàng)一辆汽车(qìchē)在狭窄的山路上疾驰,两侧是陡峭悬崖,前方被浓雾遮蔽,“我们需要为汽车装上前灯,并在路上安装一些护栏。”
(本文来自澎湃新闻,更(gèng)多原创资讯请下载“澎湃新闻”APP)


相关推荐
评论列表
暂无评论,快抢沙发吧~
你 发表评论:
欢迎