人工智能（AI）的高速发展导致了很多权威专家的焦虑，这些人在上一个月发布了一封公开信，号召把避免AI对人类导致灭绝性伤害作为世界的重要工作，与其它像大流行病和核战这种社会现象一视同仁。

这则公开信十分简洁明了，都没有详细说明AI会怎样摧毁人类。实际上，现今AI系统还远远达不到这种程度。他们中的一些乃至连最基本的算数都不会做。那样，为何这些最熟悉AI的人会如此担忧呢？

可怕的推测

一些科技领域的人士推测，将来有可能出现一些强悍的AI系统，可以解决各种各样事务管理，从商业到战事。这种系统可能超过我们自己的操纵，做一些大家不想让他们干的事。假如我们尝试干涉和关闭他们，他们可能抵抗，甚至还会自身繁殖，以确保自己运作。

“现今系统都还没组成对咱们求生的威协，”蒙特利尔大学的人人工智能专家教授约书亚·本吉奥说。“可是未来一年、2年、五年呢？有许多不可控因素。这便是存在的问题。大家不确定AI会不会在某一时刻越来越风险。”

一些担忧的人用一个典型的例子来阐述。她们说，假如你让一台机器尽可能多的生产制造曲别针，设备可能丧失理智，把所有东西——包含人类——都变成了生产制造曲别针工厂。

这个案例跟真实世界（换句话说不远的将来全球）有什么关系？企业可能会对AI系统越来越多可玩性，让它传送到关键基础设施（例如电力网、股票市场、军事装备）上。他们很有可能是从那边引起难题。

对于许多权威专家而言，这种可能性直至大概上年才变得越来越可靠。上年，OpenAI等公司展示了AI技术上的重要发展，说明假如AI坚持以那样闪电般的速度持续下去，那样这种可能性确实存在。

“AI会逐步获得更多权利，并且随着变得越来越独立，它可能会替代现阶段由人类和人类管理方法机构所作的管理决策与思考，”加州大学圣克鲁兹校区的宇宙学家霍华德·阿吉雷说，他是和两份公开信相关的机构——性命将来研究所创始人。

“有一天，大家会发现社会和经济形势所依靠的大型机器事实上并不会受到人类操纵，同时没法关掉他们，如同没法关掉标普指数500指数值一样。”他说道。

最少，这是这个基础理论这样的说法。别的的人人工智能专家指出，这是一个离奇的假定。

“我对于‘存活威协说’的观点，用‘假定’来形容了已经非常有心了，”地处洛杉矶的研究试验室——莱纳人工智能研究所的创办CEO奥伦·埃齐奥尼说。

有数据表明AI能做到这一点吗？

都还没。可是研究工作人员已经把像ChatGPT这种对话机器人转化成也可以根据他们形成的文原本付诸行动的系统。AutoGPT就是一个很好的例子。

该项目的念头要给AI系统一个目标，例如“创建公司”或“挣钱”。随后系统会不断探寻达到目标的办法，特别是它可能能够和别的互联网技术服务器连接起来的话。

AutoGPT这种系统能形成计算机语言。假如研究工作人员将它传送到一个电子计算机服务器上进行，它就会真正意义上运作这种程序流程。本质上，AutoGPT能通过这种方式在网上做基本上所有事情——获得信息、使用应用程序、撰写新应用软件，乃至改善自身。

AutoGPT这种系统目前尚不能很好的工作中。他们通常会深陷没完没了的循环系统。研究工作人员以前给一个系统给予让它自我繁殖所需的全部网络资源。本身没有复制自己。

假如有更多的时间，这种限定有可能被摆脱。

“大家已经积极构建能自我完善的系统，”Conjecture公司创始人麦克雷格·莱希说，它的企业想要让AI技术和人类价值观念保持一致。“现在还没有保证。但总有一天会保证。谁也不知道那一天什么时候到来。”

莱希觉得，伴随着研究工作人员、公司与犯罪嫌疑人给那些系统设置“挣钱”等总体目标，他们可能会致使不良结论，例如进入金融机构系统，在它们拥有石油期货的大国挑动改革，或在有些人尝试关掉他们时自身繁殖。

AI系统从哪儿教坏？

像ChatGPT这种AI系统都是基于神经元网络里的数学课系统，根据处理数据来学技能。

2018年上下，谷歌搜索和OpenAI等公司已经搭建神经元网络，用从网络上收集到的很多数据文原本练习他们。以在全部这些信息中找到方式，神经元网络系统懂得了自身生成文本，包含新闻文章、诗文、计算机语言，乃至相近人类的对谈。结果可想而知像ChatGPT这种对话机器人。

用于练习这种系统的信息量非常大，以致于连系统创始者也不能完全了解，所以这些系统表现出创始者意想不到的个人行为。近期有研究工作人员报告说，一个系统可在在网上雇佣人来根据短信验证码认证。当别人问这个是不是“智能机器人”时，它说谎称自己是视力受损的人。

一些医生担忧，伴随着研究工作人员让系统变得更加强大，用更多数据来练习他们，他们可能学习到大量坏习惯和思想。

这种提醒的背后是谁？

在本世纪初，一个叫艾利泽·尤德科夫斯基的年轻作家逐渐警示AI很有可能威协人类生存与发展。她在在网上发布的帖子深深吸引一批跟随者。这一被称作“理性主义者”或“合理利他行为者”（通称EA）的人群最后在学界、政府部门中国智库和高科技行业形成了重大的影响。

尤德科夫斯基与他的文章内容在OpenAI和2014年被谷歌收购的DeepMind实验室建立中起着至关重要的作用。很多来源于EA人群的人以前或目前在这种实验室工作。在他们看来，因为他们掌握AI的危险性，因此他们是很适合搭建AI系统的人。

近期发布公开信警示AI风险性的两大机构——人工智能安全管家与生命将来研究所——也和这一健身运动有紧密联系。

近期的警示还来源于一些研究行业领域行业管理者，例如埃隆·埃隆马斯克，他一直在警示AI风险。在近期这个消息上签字还因OpenAICEO尼克·奥特战士，及其协助创立了DeepMind、如今承担一个新人工智能实验室戴米斯·哈萨比斯，这个新试验室聚集了来源于DeepMind和谷歌的顶级研究工作人员。

在近期一封或两份警告通知上签字的许多受人尊重的人士包含本吉奥，及其近期离去谷歌搜索管理层和研究员岗位的杰弗里·欣顿。2018年，有些人因为在神经元网络相关的工作赢得了被称作“测算行业诺奖”的图灵奖。