什么是AI？

从SIRI到自动驾驶汽车，人工智能（AI）正在迅速发展。虽然科幻小说经常将AI描绘成具有类似人类特征的机器人，但AI可以涵盖从谷歌的搜索算法到IBM的沃森到自动武器的任何东西。

今天的人工智能被恰当地称为窄AI（或弱AI），因为它被设计用于执行狭窄的任务（例如，仅面部识别或仅互联网搜索或仅驾驶汽车）。然而，许多研究人员的长期目标是创建通用AI（AGI或强AI）。虽然狭窄的人工智能在任何特定任务中都可能胜过人类，比如下棋或解决方程式，但AGI在几乎所有认知任务中都会胜过人类。

为何研究AI安全性？

在短期内，保持AI对社会影响的目标有助于研究许多领域的研究，从经济学和法律到技术主题，如验证，有效性，安全性和控制。如果你的笔记本电脑崩溃或遭到黑客攻击，它可能只是一个小麻烦，如果它控制你的汽车，你的飞机，你的心脏起搏器，你的自动交易，人工智能系统做你想要它做的事情变得更加重要系统或您的电网。另一个短期挑战是防止在致命的自主武器中进行毁灭性的军备竞赛。

从长远来看，一个重要的问题是如果追求强大的AI成功并且AI系统在所有认知任务中变得比人类更好，会发生什么。正如IJ Good在1965年指出的那样，设计更智能的AI系统本身就是一项认知任务。这样的系统可能会经历递归的自我改善，引发智能爆炸，使人类的智力远远落后。通过发明革命性的新技术，这种超级智能可以帮助我们消除战争，疾病和贫困，因此创建强大的人工智能可能是人类历史上最大的事件。然而，一些专家表示担心，它可能也是最后一个，除非我们在成为超级智能之前学会将人工智能的目标与我们的目标保持一致。

有人质疑是否会实现强大的人工智能，而其他人则坚持认为创造超智能人工智能是有益的。在FLI，我们认识到这两种可能性，但也认识到人工智能系统有意或无意地造成巨大伤害的可能性。我们相信今天的研究将有助于我们更好地准备和预防未来可能产生的负面影响，从而在避免陷阱的同时享受人工智能带来的好处。

人工智能如何危险？

大多数研究人员认为，超级智能人工智能不太可能表现出像爱情或仇恨这样的人类情感，并且没有理由期望人工智能成为故意的仁慈或恶意。相反，在考虑人工智能如何成为风险时，专家认为最有可能出现两种情况：

1.人工智能被编程为做一些毁灭性的事情：自主武器是人工智能系统，可编程杀死。在错误的人手中，这些武器很容易造成大规模伤亡。此外，人工智能军备竞赛可能无意中导致人工智能战争，也导致大规模伤亡。为了避免被敌人挫败，这些武器的设计极难“简单地”关闭，因此人类可能会失去对这种情况的控制。即使人工智能狭窄，这种风险也会出现，但随着人工智能和自主性水平的提高而增加。

2.AI被编程为做一些有益的事情，但它开发了一种实现其目标的破坏性方法：只要我们未能完全将AI的目标与我们的目标完全一致，就会发生这种情况，这非常困难。如果你要求一辆听话的智能汽车尽可能快地带你去机场，它可能会让你在那里被直升机追赶并被呕吐物覆盖，不是你想要的，而是字面意思你所要求的。如果一个超级智能系统的任务是一个雄心勃勃的地球工程项目，它可能会对我们的生态系统造成严重破坏，并将人类企图阻止它作为一种威胁来实现。

正如这些例子所示，对高级AI的关注不是恶意，而是能力。超级聪明的AI将非常善于实现其目标，如果这些目标与我们的目标不一致，我们就会遇到问题。你可能不是一个邪恶的蚂蚁憎恨蚂蚁出于恶意，但如果你负责一个水电绿色能源项目，并且该地区有一个蚁丘被淹，对蚂蚁来说太糟糕了。人工智能安全研究的一个关键目标是永远不要将人类置于这些蚂蚁的位置。

为什么最近对AI安全感兴趣

史蒂芬霍金，伊隆马斯克，史蒂夫沃兹尼亚克，比尔盖茨以及许多其他科技界知名人士最近都在媒体和关于人工智能所带来的风险的公开信中表达了关注，并由许多领先的人工智能研究人员加入。为什么主题突然成为头​​条新闻？

追求强大的人工智能最终会成功的想法长期被认为是科学小说，几个世纪或更远。然而，由于最近的突破，许多人工智能的里程碑，专家们在五年前就已经看到了几十年之后，现在已经达成，使许多专家认真考虑了我们一生中超级智能的可能性。虽然一些专家仍然认为人类人工智能已经过了几个世纪，但2015年波多黎各会议上的大多数人工智能研究都猜测它会在2060年之前发生。由于完成所需的安全研究可能需要数十年的时间，因此现在开​​始审慎。

因为AI有可能变得比任何人都更聪明，我们没有可靠的方法来预测它的表现。我们不能将过去的技术发展作为基础，因为我们从来没有创造出任何有能力，无意或无意地超越我们的能力。我们可能面临的最好例子可能是我们自己的进化。人们现在控制着这个星球，不是因为我们是最强大，最快或最大的星球，而是因为我们是最聪明的。如果我们不再是最聪明的，我们是否有信心保持控制？

FLI的立场是，只要我们赢得不断增长的技术力量和我们管理它的智慧之间的竞争，我们的文明就会蓬勃发展。在人工智能技术的情况下，FLI的立场是，赢得该种族的最佳方式不是阻碍前者，而是通过支持人工智能安全研究来加速后者。

关于高级AI的最高神话

关于人工智能的未来以及它对人类应该/应该意味着什么，正在进行一场引人入胜的对话。世界领先的专家不同意这些引人入胜的争议，例如：AI未来对就业市场的影响; if /何时开发人类AI？这是否会导致情报爆炸; 以及这是否是我们应该欢迎或担心的事情。但是，也有许多由人们误解和相互交谈引起的无聊伪争议的例子。为了帮助我们专注于有趣的争议和悬而未决的问题 - 而不是误解 - 让我们清楚一些最常见的神话。

时间线神话

第一个神话是关于时间表：在机器大大取代人类智能之前需要多长时间？一个常见的误解是我们肯定知道答案。

一个流行的神话是，我们知道本世纪我们将获得超人类AI。事实上，历史充满了技术上的过度膨胀。那些聚变发电厂和飞行汽车在哪里我们承诺我们现在已经拥有？人工智能在过去也曾多次被大肆宣传，甚至还有一些该领域的创始人。例如，约翰麦卡锡（创造“人工智能”一词），马文明斯基，纳撒尼尔罗切斯特和克劳德香农写了这个过于乐观的预测，关于在两个月内用石器时代计算机可以完成什么：“我们建议2个月，1956年夏天在达特茅斯学院进行了10人的人工智能研究[...] 将尝试找到如何使机器使用语言，形成抽象和概念，解决现在为人类保留的各种问题，并改进自己。我们认为，如果一个精心挑选的科学家团队在一起度过一个夏天，就可以在一个或多个这些问题上取得重大进展。“

另一方面，一个流行的反神话是我们知道本世纪我们不会得到超人的AI。研究人员已经对我们与超人AI的距离进行了广泛的估计，但鉴于这种技术怀疑预测的惨淡记录，我们当然不能非常自信地说本世纪的概率为零。例如，欧内斯特卢瑟福，可以说是他那个时代最伟大的核物理学家，在1933年 - 在西拉德发明核链反应之前不到24小时 - 说核能是“月光”。天文学家皇家理查德伍利称行星际旅行“完全是这个神话中最极端的形式是超人AI永远不会到来，因为它在身体上是不可能的。然而，

有许多调查要求人工智能研究人员从现在起多少年后他们认为我们将拥有至少50％概率的人类AI。所有这些调查都有相同的结论：世界领先的专家不同意，所以我们根本不知道。例如，在2015年波多黎各人工智能会议的人工智能研究人员调查中，平均（中位数）答案是在2045年，但一些研究人员猜测数百年或更长时间。

还有一个相关的神话，担心人工智能的人认为只有几年之后。事实上，大多数记录在案的超人类人工智能的人都认为它至少还需要几十年的时间。但他们认为，只要我们不能100％确定本世纪不会发生这种情况，现在就开始进行安全研究以准备应对可能性是明智之举。与人类AI相关的许多安全问题非常困难，可能需要数十年才能解决。所以现在开始研究它们是谨慎的，而不是在一些喝红牛的程序员决定开启之前的那个晚上。

争议神话

另一个常见的误解是，唯一关心人工智能和提倡人工智能安全研究的人是对人工智能知之甚少的人。当标准人工智能教科书的作者斯图尔特罗素在他的波多黎各谈话中提到这一点时，观众大声笑了起来。一个相关的误解是，支持人工智能安全研究存在巨大争议。事实上，为了支持对人工智能安全研究的适度投资，人们不需要确信风险很高，只是不可忽视 - 正如家庭保险的适度投资可以通过不可忽视的房屋概率来证明烧毁。

可能是媒体使人工智能安全辩论似乎比实际上更具争议性。毕竟，恐惧销售，使用不合情理的引用来宣告即将到来的厄运的文章可以产生比细微差别和平衡的更多的点击。结果，两个只从媒体报价中了解彼此立场的人可能会认为他们不同意他们的不同意见。例如，一位只阅读比尔盖茨在英国小报中的立场的技术怀疑论者可能错误地认为盖茨认为超级智能即将来临。同样地，除了他关于火星人口过剩的引言之外，有益于人工智能运动的人对安德鲁·吴的立场一无所知可能会错误地认为他并不关心人工智能的安全性，而事实上，他确实如此。问题的关键在于，因为Ng的时间表估计更长，

关于超人AI风险的误区

许多人工智能研究人员在看到这个标题时翻了个白眼：“ 斯蒂芬霍金警告说，机器人的崛起对人类来说可能是灾难性的。”而且许多人已经忘记了他们看过多少类似的文章。通常情况下，这些文章伴随着一个携带武器的邪恶机器人，他们建议我们应该担心机器人上升并杀死我们，因为他们已经变得有意识和/或邪恶。更轻松的是，这些文章实际上相当令人印象深刻，因为它们简洁地总结了AI研究人员不担心的情景。这种情况结合了多达三种不同的误解：对意识，邪恶和机器人的关注。

如果你在路上开车，你会有一种主观的色彩，声音等体验。但是自动驾驶汽车是否有主观体验？是否有任何想成为自动驾驶汽车的感觉？虽然这种意识之谜本身就很有趣，但它与AI风险无关。如果你受到无人驾驶汽车的打击，那么它是否主观上是否有意识对你没有任何影响。同样地，影响我们人类的是超智能AI 所做的事情，而不是主观感受。

机器变坏的恐惧是另一个红鲱鱼。真正的担忧不是恶意，而是能力。根据定义，超级智能AI非常擅长实现其目标，无论它们是什么，因此我们需要确保其目标与我们的目标一致。人类通常不讨厌蚂蚁，但我们比他们更聪明 - 所以如果我们想要建造一座水电大坝并且那里有一个蚁丘，对蚂蚁来说太糟糕了。有益的人工智能运动希望避免将人类置于那些蚂蚁的位置。

意识误解与机器无法实现目标的神话有关。机器显然可以在狭义上展现出目标导向的行为目标：寻求热量导弹的行为在经济上被解释为达到目标的目标。如果您感觉受到与您的目标不对齐的机器的威胁，那么正是这种狭隘意义上的目标让您感到麻烦，而不是机器是否有意识并且体验到目的感。如果那个寻热导弹追你，你可能不会惊呼：“我并不担心，因为机器没有目标！”

我同情罗德尼布鲁克斯和其他机器人先驱者，他们被恐吓小报感到不公平，因为有些记者似乎过分注重机器人，并用红色闪亮的眼睛用邪恶的金属怪物装饰他们的许多文章。事实上，有益的人工智能运动的主要关注点不在于机器人，而在于智能本身：特别是智力，其目标与我们的目标不一致。为了给我们带来麻烦，这种错位的超人情报不需要机器人的身体，只需要一个互联网连接 - 这可能使智能金融市场超越，发明人类研究人员，操纵人类领导者，开发我们甚至无法理解的武器。即使建造机器人在物理上是不可能的，

机器人误解与机器无法控制人类的神话有关。智能使控制：人类控制老虎不是因为我们更强壮，而是因为我们更聪明。这意味着如果我们在地球上放弃我们最聪明的地位，我们也有可能放弃控制权