布赖恩·托马西克访谈

2015-1208

布瑞恩托马西克

布瑞恩托马西克基础研究所,a charity that explores the best ways to reduce suffering in the future – examining crucial considerations in science,政治,社会,以及与此相关的哲学。他在个人网站上写了100多篇关于类似主题的文章,“Essays On Reducing Suffering“。He has argued that reinforcement-learning agents are morally significant,和coined the name ‘188bet百家乐PETRL'.

The following interview was conducted via Google Docs.

In "人工强化学习剂在道德上重要吗?“you discuss reinforcement-learning (RL) agents,并建议他们在道德上是相关的。你为什么特别关注这些特工?而不是其他目标导向的人工智能?

当我在2012年第一次开始探索RL时,我认为,从伦理的角度来看,人工RL代理可能特别重要,因为它们的算法与动物大脑中的RL非常相似,而且RL中的“增强”似乎表面上的与快乐和痛苦有重要关系。The book情绪解释Edmund T.罗尔斯强调了RL。在里面

问题的答案,“什么是情感?”是对奖励或惩罚如何引起情感的扩展描述。[…]重点是强化学习:如何在感觉刺激的表现和强化价值的表现之间获得和储存大脑中的联系。

随着我学到更多,I realized that RL was only one of many instruments playing in the orchestra of cognitive operations that we call emotion.此外,it began to seem plausible to me that agents could have ethical significance even if they lacked RL.许多非RL代理仍然可以评估情况的价值并做出适当的反应,例如通过逃避以避免危险,即使他们没有学会预测状态的价值,以便在未来的决策中使用。

尽管意识到我的道德同情不仅仅局限于RL代理人,我把我的论文集中在RL上,这样它的范围就可以管理。

你认为这些RL特工在道德上是相关的,这大概意味着他们是有意识的。然而,RL代理非常简单,只需要几十行代码就可以编写。How could something so simple be conscious?

这是一个关键点,代表了不同阵营之间的主要分歧点。一个人是否认为几十行代码是有意识的(在适当的硬件上执行时),取决于一个人对“意识”的定义有多广泛。那些坚持认为一个系统必须表现出高度的复杂性和智能性才能算是有意识的人可能不会认为一个短的RL程序是有意识的。但我认为对意识的限制性定义过于狭隘。

在我看来,when we call a mind "conscious",我们指的是大脑可以做的很多事情:处理输入刺激,通过计算子单元广播更新,反省自己的思想和内部状态,生成句法输出语句和动作,等等。这些是非常广泛的概念,可以在各种物理过程中不同程度地看到。如果它们在某种程度上不适用于简单的RL程序,那将是一个奇迹。

I think of "consciousness" as like "justice": It's a grand,具有太多意义的笼统概念,无法精确定义。正义的概念可以包括相对平等的财富分配,平等适用法律,不考虑社会特权,没有极权主义或残忍的统治者,平等晋升的机会,等等。人类社会可能只是或多或少的程度。灵长类社会也是如此,鸡肉协会,甚至蚂蚁社会。但是计算机程序呢?Can a few dozen lines of code be "just"?这几十行代码将被忠实地执行,而对某些行没有特别的特权。存储在内存中的每个对象都将获得所需的字节数,并且将具有编程语言的垃圾收集器所尊重的内存内容,直到不再需要该对象为止。计算机的操作系统将在这个程序的进程和机器上的其他进程之间共享计算时间片(尽管进程的优先级可能不同,这可以被视为某种程度的不公正)。如果在随机初始条件下多次运行RL程序,then there would be some degree of injustice because some agent instances would start out with more favorable environmental settings than others.等等。所以,是的,a program can have traces of justice and injustice too.

当然,我们可能认为一个程序的公正性并不重要(除非它与软件设计选择相关,而软件设计选择对人类具有重要意义)。I agree.但是,操作系统过程之间的公平性和人与人之间的公平性之间的区别是程度而不是种类。People are,在底部,just vastly more complex "processes" being run (in parallel) within a society.其中一些过程,像白人男性或政治家的孩子一样,设置的“优先级”比其他的稍高。只要有人关心人类的正义,那个人可能会选择在操作系统的进程中关心无穷小的正义,取决于人的道德和审美直觉。

一个共同的反对意见是意识不像正义;更确切地说,意识是一种客观的属性,它的存在或不存在不是一个解释的问题。This view takes various forms.意识有时被认为是一种本体分离的物质(物质二元论)。本体分离的属性(属性二元论)或与构成宇宙本身的本体论基础相同(中性一元论)。这些“理论”都没有帮助,因为他们都“解释”意识仅仅是一些其他的 神秘的ontologically primitive thing,就像一个创世论者一样,“解释”宇宙的起源,说“上帝做到了!”.相反,我的观点——可以被认为是还原论者或消除主义者——摒弃了本体论。事情完全称为意识,并把意识作为一个概念,当我们的意识注意到自己的行动时,我们就建立了这个概念。In a similar way,“桌子”也是我们头脑创造的概念,不是生活在柏拉图形式领域中的本体论原始生物。

无论如何,即使你不同意我的思想形而上学,你至少应该承认一个小的RL程序可能有意识,and given the numbers of such programs that are run,他们的总感知力的预期水平是非零的,可能会成为一条道路上不平凡的。

In humans,不同的积极和消极情绪有着不同的“纹理”,虽然,正如你注意到的,这不是强化学习者的情况。金博宝百家乐你认为这是一个足够显著的区别吗?一个获得低回报的强化学习者不能被说成经历痛苦或不快吗?金博宝百家乐如果是这样,强化学习者是否仍具有道德意义?金博宝百家乐

我怀疑情绪的“纹理”来自于在任何特定时间在大脑中演奏的认知“乐器”的复杂管弦乐队,以及大脑对这些潜在过程的高级判断和语言概念。Simple RL agents have many fewer of the detailed cognitive operations that comprise "happiness" and "suffering" in animals,但我认为我们仍然可以确定可以扩展到更简单的RL代理的一般标准。Following are a few examples,尽管我没有和他们结婚。最终,幸福和痛苦在世界上并不“存在”,而是我们对各种系统(包括我们头脑中的系统)做出的判断。So different people may reach different conclusions about the net happiness vs.suffering of RL systems depending on what evaluation metrics they use.

一个标准可以是说,积极的经验是那些我们希望有更多的总体。For example,if a person could press a button to add 5 years to her life,她通常会这样做,如果她的生活是净积极的,而不是这样做,如果她的生活是净消极的。概括这个想法,we could suggest that if an agent who has the option of entering a terminal state (with a known,一次性奖励值0)选择早晚进入该状态,然后这个代理平均有真正的负面经验(或者至少在不久的将来预期净的负面经验)。此标准可能适用于某些RL代理,但它不适用于其他人。许多RL代理不容易访问,中立奖励的终端国家——毕竟,人们不希望他们的机器人仅仅因为机器人不快乐而关闭。

另一个标准可能是看代理在避免行为而不是寻求行为方面投入了多少精力。很难区分这一点,例如,RL直升机是否试图达到平衡,以避免不平衡状态或寻求平衡状态?这就是说,有些情况下,这种区别似乎更为合理。For example,想象一个代理在一个巨大的二维网格中导航。除一个方格外,代理对方格的所有方格都漠不关心,which has a lower reward value than the rest.一旦受过训练,代理将避免“坏”方块,但可能继续在许多非“坏”方块之间自由移动。In principle,我们可以称这种行为为“回避”坏方块或“寻找”非坏方块,但是相对于我们的拟人视角,“回避”标签似乎更合适。(人们对这一标准的直觉可能有所不同,而且我也没有存多少存货。)

第三个标准,适用于更聪明的代理人是如何代理人本身评估其情绪。If it pleads with us to make something stop,一般来说,考虑到它想要停止的状态是痛苦的,似乎更为合理,尽管人们也可以将这些陈述解释为代理人说服我们将其置于更令人愉快的状态的方式。如果代理理解人类的概念,比如疼痛,并告诉我们它正在经历痛苦,that would be a reason to consider the agent to be having negative experiences,although this might only work for animal-like mind architectures.

另一种观点可以从佛教的第二种观点中得到启发。崇高真理并且声明一个代理在任何时候想要或“渴望”改变它的状态时都在受苦。For example,假设一个网格世界包含所有奖励为1的正方形,except for one square that has a reward value of 2.一旦探员了解了环境,它将一直移动到并停留在奖励值为2的广场上。佛教徒可能会暗示,如果代理人在任何一个广场上,而不是奖励值为2的广场上,他就会受到伤害。因为对于其他的广场,代理人含蓄地判断那个州出了什么问题。佛教徒的这一观点会更加悲观地看待RL代理人受苦的普遍性,因为几乎所有的RL系统都会根据不断变化的环境状况改变其行为。

即使你认为将一个简单的RL项目的经历描述为平衡上的积极或消极是没有希望的,你可能仍然觉得RL计划值得道德考虑。Increasing the agent's reward better fulfills its goals,不管代理人是在受苦还是在享受整个过程。更困难的问题是采取什么立场人口伦理学:一个RL探员什么时候才值得活着?即使她忽略了幸福与幸福之间的区别。受苦的,an ordinary preference utilitarian would need to decide when an RL agent's goal satisfaction exceeds its goal frustration.These questions are easier for those,像我一样,同情的人消极功利主义antifrustrationism,和生殖不对称.我们认为创造不满意的偏好在道德上比创造满意的偏好更重要,通常反对增加RL代理的数量,因为大多数RL代理至少在某些时候部分不满意。

虽然人工制剂可能会经历某种痛苦,可能会让生活充满沮丧的偏好,它们无疑对人类的需求有用,而且,正确的道德行为似乎不可能创造出这样的代理人。If creating an AI is bad for it,我们应该如何权衡对人工智能的伤害和对人类的益处?你能举出一些具体的例子来说明人工智能会导致不满意的生活吗?或是有苦难的生命,不过,这应该被创造出来吗?

对,“废奴主义者“有些人主张动物权利的立场不适用于机器权利——至少,除非我们放弃大多数电子设备。即便如此,因为我认为所有的物理系统都应该得到非零道德考虑,不伤害他人是不可能的。

此外,我很不重视道德,说,我的笔记本电脑——可能比我给一只蚂蚁的重量要轻。所以我不认为目前使用机器的道德成本很高。But as AIs become more advanced,他们会值得更多的重量。

我个人更希望人工通用智能(AGI)从未被开发出来,because AGI will facilitate colonizing and optimizing our region of the cosmos,在我看来更可能传播痛苦而不是减少它。然而,given humanity's current trajectory,似乎AGI的发展和太空殖民最终会发生。Indeed,即使世界上大多数人反对这个结果,那些确实想推动技术进步的国家很可能会这样做。鉴于此,I think we should focus on reducing the suffering that will probably result from Earth-originating AGI.

从人工智能开发者的角度来看,人工智能的一个例子就是人工智能的实验版本,在拥有处理疼痛的认知机制的同时,在其他方面功能失调。(托马斯·梅辛格讨论这可能是机器遭受没有人.) Darwinian evolution has produced quadrillions of these mutant,在自身数百万年的“实验”过程中,畸形的生物。也许人类可以开发出比自然母亲使用的失败原型少得多的AGI,but the numbers of defective AIs could still be very large,especially if they're refined using evolutionary algorithms or other trial-and-error methods.

如果大脑模拟技术变得广泛,它也可能会给心智功能失调的人带来痛苦。因为生物大脑是如此混乱和相互联系,我预计几乎所有的大脑改造尝试都会失败,有时,以令人痛苦的方式,在少数人成功之前。当人脑上传作为实验对象时,这将是个问题,至少这些上传可以通过输入/输出通道口头报告他们的痛苦;in contrast,上传昆虫,老鼠,猴子可能会默默无语,除非研究人员足够关心他们的痛苦程度。安德斯·桑德伯格曾在《科学》杂志上讨论过这些问题。Ethics of brain emulations“。

还有数不清的更抽象、更简单的人工智能和计算机系统,这些系统在AGI开发过程中可能会受到影响。For example,用于股票预测的RL代理在使用过去的数据或当前市场交易进行模拟时会遭受损失。视频游戏中的RL特工在用剑射击或杀死时会受到伤害。A web browser would suffer (infinitesimally) if it failed to receive a response to an HTTP request and不断重试试图达到所需的状态(成功地呈现HTTP数据)是徒劳的。等等。随着我们向这些越来越简单的系统迈进,the degree of moral concern becomes almost negligible.但是考虑到这些小的流行,基本算法,我们还应该问他们的数量是否能弥补他们对每个人重要性的低程度。我不知道我是怎么想的。I incline toward apportioning most of my moral concern for bigger,更聪明,更明显的是,动物样的过程,但我不排除改变主意。

It seems like the reason that you think that RL agents have moral significance is that they receive rewards which they are trying to maximise,并改变他们的行为以实现这一目标。许多机器学习算法的工作方式类似:例如,在设计用于图像分类的神经网络的训练阶段,网络将接收图像,output its classification,and then learn how accurate its classification is.基于此反馈,it will modify its internal structure in order to better classify similar images.你认为这些算法值得道德考虑吗?

截至2014年中期,我已经成为一个通灵论者,我认为所有的物理/计算系统都应该得到某种程度的道德考虑。但更困难的问题是一个给定的系统有多重要。

同意非RL学习算法,以及其他函数优化器,与RL分享重要的相似之处:如你所说,它们都涉及到调整内部参数的高水平目标,即最大化或最小化某些目标函数。

我们多么关心一个给定的系统是模糊的,通常是情感判断的召唤。我的心弦被RL代理比被监督的学习者(假设系统有大致相当的复杂度)稍微拉得更紧,因为RL代理通常更像动物。金博宝百家乐For example,一个在网格世界中移动的RL代理可以学会避免坏的方块并寻找好的方块。一个神经网络也学会了“避免”坏的结果——特别是当它产生特别大的预测错误时,通过调整它的网络权重——但是神经网络的响应看起来更抽象和数学化。当然,在网格世界中移动的RL代理也抽象地用数字表示(例如,X坐标和Y坐标)所以,这一明显的区别可能不是非常实质性的。

Often an RL agent will use afunction approximator就像处理噪声输入的神经网络。For example,代理可能有一个网络,该网络接收有关代理处于何种状态的刺激(例如,the agent is hungry and sees a ripe fruit) and outputs whether the agent should take a given action (e.g.,whether the agent should eat what it's looking at).在这种情况下,the connection with neural-network learning is even more clear,因为在这种情况下是RL调整动作选择神经网络的权重,combined with some other higher-level numerical manipulations.

在动物中,神经网络之间有很大的区别,说,图像分类与用于评估输入的神经网络(例如,发现糖味道好或火感觉不好)。就像大脑中的大多数属性一样,这些网络之间的区别不在于它们是如何独立工作的,而在于它们是如何连接到其他组件上的。价态网络会强烈影响运动反应,激素释放,放下记忆,verbal responses (e.g.,“哎哟!”,以及大脑的许多其他区域。我怀疑这些后遗症(丹尼尔·丹尼特可能会称之为“后遗症”)。后遗症“)价网络使我们感觉到的丰富的情感体验变得痛苦和快乐。只要简单的人工RL制剂在重视输入刺激后,其后遗症就更少了,将简单的RL项目称为“比动物更不情绪化”似乎是公平的——在每个刺激反应周期中,它们的重要性更接近于普通受监督的学习者。金博宝百家乐

你也写过关于遭受子程序-人工智能的子系统,它们本身可能在道德上相关并经历痛苦。在什么样的人工智能系统中,你认为这些受苦子程序的风险最高?你认为我们可以预测什么时候人工智能会有“微笑的子程序”,and aim for those sorts of AIs?

许多具有意识性质的简单操作——信息广播,metacognition,进行激励性权衡,and so on – are rampant throughout computational systems,即使是现在的软件。It's very difficult to count instances of these kinds of operations,更不用说把他们描述成更快乐或更痛苦的人了。So answering this question in detail will have to be left to later generations,因为他们会比我们更复杂,并且会更好地知道在遥远的将来,什么样的计算会大规模运行。但在高水平上,人们可能认为某些计算操作比其他操作更“厌恶”和“消极”,这似乎是合理的。通过在计算系统的行为和痛苦与人类大脑中的快乐过程。如果人类的痛苦比人类的快乐更相似,我们可以判断这个系统是否包含了痛苦的净平衡。当然,making these attributions is messy and subjective.

考虑如何改变数量of sentience in a computational system rather than the affective质量of that sentience.For example,如果我们认为高层次的认知是意识体验的一个重要方面,那么,用成群的微型纳米机器人建造结构可能比用更智能的机器人建造结构所需的痛苦要少。一种先进的文明,满足于产生相对简单的产出(例如,统一建造的回形针)可能比一个旨在创造各种复杂结构的文明在工厂里需要的情报要少一些。(当然,even a "paperclip maximizing" AGI would still create huge numbers of intelligent minds in order to learn about the universe,防止外星人袭击,and so on.)

Most advanced civilizations would probably run simulations of intelligent,动物般的头脑,在这些情况下,更容易判断子例程是快乐还是痛苦,because we're more familiar with animal-type brains.Probably a human-controlled AGI would be more cautious about running painful simulations (e.g.,数字实验室实验或地球类行星动物进化的详细模型)尽管人类会多么关心他们对模拟造成的伤害,尤其是非人类,仍不清楚。同时,a human-controlled AGI would also be more likely to create many more simulations of animal-like creatures because humans find these kinds of minds more interesting and valuable.希望这些模拟中的大多数都会令人愉快,虽然从中判断,例如。,当今电子游戏中的暴力行为,这不是保证。

你说目前的RL药剂可能和果蝇一样重要,但未来的特工可能需要更多的道德考虑。我们现在应该为这些未来的强化学习者做些什么?金博宝百家乐

读者需要澄清的一点是:我认为果蝇比目前所有的RL制剂都要复杂得多,但由于数字RL代理的运行速度比果蝇神经元快得多,人工每分钟RL药剂的重要性更接近于果蝇。

当代人帮助遥远未来的RL代理人的主要方式是将人类的轨迹推向更人道的方向。

这样做的一个步骤是从事研究和场景分析。我们应该探索AGI将建立什么样的星际计算基础设施,以及什么样的RL和其他智能设施,目标导向的代理将是基础设施的一部分。How much would such agents suffer?它们看起来像什么?当我们思考一系列可能的结果时,we can identify some outcomes that look more humane than others and try to nudge AGI development more in those directions.For example,一个受人类启发的敏捷比一个不受控制的敏捷包含更多或更少的痛苦的RL代理?监管机构会使用基于RL的机器人工人和科学家吗?或者他们会很快用更抽象的优化过程取代基于RL的思想吗?我们会关心更抽象的优化过程吗?

其次,我们可以更可能考虑人道主义的关切如果人类控制AGI。188bet百家乐Petrl的网站是朝这个方向迈出的一步。In addition to promoting concern for RL agents,我们还可以使AGI的发展更有可能以协商和合作的方式进行,因此,社会有足够的空间来考虑道德问题(尤其是“边缘”问题,如人工思维的道德地位)。而不是赛跑以尽可能快地建立AGI能力。

Currently,很少有人会关心人工智能的痛苦,或者果蝇。How do we persuade the public that moral concern for AGIs is warranted,即使它们的结构与人类不同?

我不太相信道德进步,但我认为这是一个历史弧线可能站在我们这边的问题,至少只要人类社会保持与现在大致相似的状态。(如果AGIs,大脑上传,或者其他破坏性力量控制地球,就道德进步而言,所有的赌注都没有了。)

对非人类甚至非动物的关注似乎是物理学家意识观的自然延伸。Keith Ward一个哲学家,又一个基督徒,put the idea well当试图反对物理主义时:

if I thought that people were just very complicated physical mechanisms and nothing more,我不会给予人们比我给予原子更多的尊重。

这种说法太极端了,因为人类比单个原子复杂得多。但基本的想法是正确的。如果所有的物理系统只是程度不同,而不是种类不同,then it becomes harder to maintain walls of separation between those computational systems that are "conscious" and those that aren't.

这种视角的改变打开了关注更广泛物理过程的大门,我怀疑一部分人会upon thinking more about these issues,把他们的道义同情心合理地延伸到我们在世界上发现的复杂程度。其他的,比如丹尼尔·丹尼特或者艾莉泽·尤德考斯基,会认识到物理过程的类型之间没有黑白区别,但仍然会为道德关注设定相当高的门槛。

While I think scientific literacy and intellectual openness are important catalysts toward increasing concern for machines,其他因素也起作用。Philosophers have already invented thought experiments to challenge the boundaries between animals and machines,随着机器的成熟度的提高,这些将变得更加丰富和广泛。与动物宣传运动类似,很可能会发展出一批机器倡导者(其中Petrl是第一批)认为,188bet百家乐通过自己认真对待这个问题,会在社会上说服别人,这个话题可能值得探讨。

在某些情况下,说服公众动物的重要性很重要,因为人们会根据这些信息采取不同的行动。相反,对于大多数普通人来说,很少有关于机器的可操作的劝告。Consideration of machine suffering might inspire programmers of AI and other computer systems to be slightly more concerned with the efficiency of their code and hardware usage in order to reduce the number of computations that take place,但考虑到我对当今软件的重视程度相对较低,即使这样也不重要。

我认为现在更重要的重点应该是为遥远的未来制定出更多的方案。哪种计算系统的广泛性和复杂性足以引起实质性的道德关注?我们怎样才能改变实现的结果呢?

采访Eric Schwitzgebel和Mara Garza

2015-11-13

埃里克·施维茨格贝尔

埃里克·施维茨格贝尔是加州大学哲学教授,河边。他在哲学界以探索心理学与哲学的交集和他的博客“分裂的心灵”而闻名。金博宝炸金花他还写了一些关于自己研究的热门文章,包括关于职业伦理学家是否是好人的“芝士汉堡伦理”。他也是《意识的困惑》一书的作者。他在推特埃施维茨.

玛拉加尔萨

玛拉加尔萨在加州大学获得学士学位,伯克利她写了一篇关于尼采意志理论的论文。She then spent a year as a visiting scholar in the philosophy department at the University of Pittsburgh,2013,在加州大学开始了她的研究生工作,河边。

她的主要研究兴趣是道德和法律哲学以及德国哲学(尤其是康德哲学,Schopenhauer,和尼采!).特别地,她对各种各样的问题如何与伦理交叉感兴趣,包括动机和自我控制,伦理和刑法中的代理账户,人工智能和技术,身份和性别。

当我们阅读他们的文章时,埃里克和玛拉作为优秀的面试候选人脱颖而出。A Defense of the Rights of Artificial Intelligences他们认为“我们对他们的责任不会因为他们是非人类而明显减少,也不是因为他们的存在归功于我们。Indeed,如果他们的存在归功于我们,我们可能会对他们承担额外的道德义务,而这些义务通常不是我们欠陌生人的——类似于父母对孩子或上帝对生物的义务。”

以下采访是通过电子邮件进行的。

你的核心论点是,有一些可能的人工智能值得我们给予人类同样的道德考虑。你认为哲学界对此有多大争议?

埃里克和玛拉:论文,如上所述,是如此谦虚或“软弱”,以至于我们期望大多数哲学家都会接受它。Philosophers tend to have a liberal sense of what is "possible" based on their exposure to far-out thought experiments (brains in vats manipulated by genius neuroscientists to think they are reading philosophy,分子双胞胎的分子由于反常的量子事故而凝结出沼泽气体…)。我们在这篇论文中的目标是建立一个基线声明,我们认为这将是广泛(虽然不是普遍)接受的深思熟虑的读者。

Once readers accept that claim,我们希望他们能进一步思考到底哪种可能的人工智能应该受到道德上的考虑,以及应该得到多少。我们对这件事的一些想法是有争议的,such as that as AIs might deserve更多道德上的考虑是因为我们对他们有特殊的义务,因为我们是他们的创造者和设计师。

你所指的科幻作品是为了捍卫社会心理对道德地位的看法,saying that they help illustrate certain scenarios and invite certain moral views.在多大程度上,对科幻作品的反思可以回答关于我们对人工智能的道德立场的更详细的问题,比如当他们有意识的时候,或者我们欠他们什么义务?If reflection on sci-fi can help us answer these questions,你认为它喜欢什么答案?

埃里克:我反对哲学必须通过说明文来进行的观点。一部深思熟虑的小说是一种思想实验,and if it delves into philosophical issues in a thoughtful way,then it is every bit as much a work of philosophy as is an expository essay.扩展的小说作品比解释性文章中典型的一段思想实验有一个优势,那就是扩展的小说作品更充分地吸引了想象和情感。哲学思维不能充分地激发想象力和情感,而忽略了我们的认知生活中的重要维度,这些维度应该为我们的哲学判断提供信息,尤其是道德问题。

我认为,广泛接触深思熟虑的科幻小说清楚地表明,人工智能的道德地位应该完全由人工智能的心理和社会特性来指导,而不是由有关其物质结构的事实来指导。物种成员,身体形态,或制造原产地,除了后一个事实影响他们的心理和社会属性。阿西莫夫的机器人,来自星际迷航的数据,《星球大战》中的r2d2和c3p0,伊恩班克斯的有情船——这些只是其中一些最突出的例子。请读者将这些实体视为有意识的,智能化,拥有欲望,鉴于这些事实,我们应该得到类似于人类的道德考虑。

关于人工智能意识,科幻小说揭示了什么还不太清楚。我的观点是,科幻小说往往是最令人兴奋的,情节驱动的小说,当读者被邀请假设,人工智能的行为表面上似乎是有意识的,实际上是有意识的,就像数据一样,C3P0etc.但这个问题通常是小说的起点,taken for granted,而不是用批判的眼光去探索。Some fiction does explore epistemological questions about the boundaries of AI sentience,但是这样的小说并不常见,这个问题在哲学上很棘手。我们的社会没有探讨过这个问题,无论是小说还是说明文哲学,几乎达到了它应该达到的深度。

为你反对存在主义债务,you use a thought experiment to the effect that it would be morally wrong to have a child and then kill them painlessly at the age of 9 to argue that an AI's existential debt to us does not justify our otherwise-immoral treatment of them.然而,在博客文章中金博宝炸金花The moral limitations of in vitro meat,Levinstein and Sandberg argue that a future where humans lead happy lives cut short (perhaps to feed some blood-thirsty alien race) would be preferable to extinction,and that therefore we ought to have ‘happy meat' instead of phasing out animal agriculture.你同意吗?如果是这样,你认为这意味着我们对人工智能的义务吗?

埃里克和玛拉:我们在人道饲养肉类问题上有点不愿意公开立场,on which there is a large and complex existing literature that is beyond the scope of our current research.然而,外星人抚养人类的案件在我们的范围之内。

We are inclined to think that if the only two options to consider are the extinction of humanity vs.人类持续的幸福生活被无情地缩短了,后者最好是所有其他条件相同。在这种情况下,缩短一个人的生命,在道义上仍然是可恶的谋杀,but if the choice is between mass murder and genocide-to-extinction,we think the former is probably less bad,如果没有办法避免采取行动,并且两种情况下实施暴行的代理人是相同的。(最后一个警告是要确认一些关于它是否对您有意义的疑问,作为代理人,为了防止其他人灭绝而进行大规模的谋杀。)也许一个好的科幻故事可以更详细地说明这一点,给我们一个更富有想象力的立足点,去思考到底会在一方还是另一方真正涉及到什么。

我们不知道从这一点来看,人工智能有多重要。然而,我们倾向于认为,至少有一些可以想象的案例,在这些案例中,允许大规模谋杀人类级别的人工智能可能比允许种族灭绝更糟糕。但是,哎呀,当我们写这个的时候,说起来很可怕,不知怎么的,太计较和冷酷了。在这里可能有一个观点的空间,在道德上拒绝做出这种计算是最好的选择。

罗宾汉森设想了一个“新兴经济”的场景,在那里我们对人类进行大量的计算机模拟,或“EMS”,执行各种有用的任务。这一场景的许多方面之一是,有时会有助于创建寿命短的新兴市场,很快就会被终止,perhaps against their will (for an intriguing example,see“小秘密”.On one hand,缩短他们的幸福生活似乎表面上是错误的。另一方面,如果不允许我们缩短他们的生命,这些特快专递就不会被创造出来。如果我们设想专门为此目的设计的EMS,the unique skills and characteristics that they would have makes their not being created arguably akin to the extinction of some human culture (albeit a culture that never had a chance to exist).The em scenario offers various disanalogies to a similar scenario with real humans: for instance,我们可以对ems进行编程,使其拥有长久幸福生活的记忆和/或不害怕死亡(尽管这可能会使它们在相关示例中变得不那么有用)。你对创造和杀死这种环境管理系统的道德有什么看法?

埃里克:这是一个令人着迷的伦理问题。这与我们认为人工智能伦理学提出的其他一些有趣的问题有关,包括创造快乐的自杀性人工智能奴隶的伦理,以及当面对可以随意合并和复制的人工智能时如何构想“平等权利”的挑战(例如,一个最近分裂的实体应该获得多少选票和多少社会福利)。

我看不出这些问题的简单答案。我认为,如果认为任何一个人工智能的整体生活都是好的,那么它总是可以随心所欲地创造并杀死它,这将是一个严重的道德错误。一旦一个有意识的人被创造出来,像人类一样的智慧和情感,它通常对我们的道德问题有要求。It would be odious,for example,创造一个人类的孩子,然后在八年快乐后无痛地杀死它,这样你就可以用儿童保育基金来购买一艘船;同样,对于人工智能的孩子,我想,如果它出生在一个类似的心理和社会环境中。

另一方面,对一些科幻小说实例的思考,for example,在Linda Nagata的玻尔制造者和David Brin的窑民中,让我倾向于认为,在某些情况下,你可以暂时复制那些注定要灭绝的自己。Nagata和Brin案件的一个特点似乎是相关的,即这些副本与它们的后代的未来延续相一致,更关心它的福利,而不是他们作为独立实体的福利。他们会为了幸福而牺牲自己;and normally (but not always) their memories will be merged back into it.我认为这还不足以让我们在道德上允许制造注定要发生的事情,因为我们可以想象,当一个产卵以一种明显不合理或有问题的方式(例如,也许它不会有那种态度,except that it was forcibly reprogrammed into the attitude against its own protests);但这是一个开始。

快乐地自杀的奴隶提出了一系列不同的问题。Suppose,for example,我们创造了一个有意识的太阳探测器,他只想在一次对太阳的科学任务中死去。188bet娱乐场Suppose it's advantageous to make a probe that is conscious,because consciousness relates in some inextricable way to its successful functioning as a probe (e.g.,maybe the probe works best if it can create creative scientific theories on the fly in a conscious,自我反省的方式)。假设,知道这一点,我们对它进行编程,以便它能从为期三天的自杀任务中获得巨大的乐趣,进入太阳的光球层。188bet娱乐场Maybe this is terrific!我们创造了一个伟大的世界,对我们有用,本质上令人敬畏,充满快乐?或者我们做了一件可怕的事情,创造了一个洗脑的奴隶,让它满足于奴隶的奴役,并且限制了它的视野,以至于它不重视自己的持续存在?

Further progress on these topics will require detailed thinking through a variety of cases.这是一个令人兴奋的问题,应该让伦理学家们忙上很长时间,如果人工智能技术继续进步。

你主张一种被排斥的中间政策,因此,我们只应明确其道德地位,避免创建“边缘案例”AIS。我们可以想象一个人工智能领域比意识和道德哲学发展得更快的世界,这样,我们可以制作的大多数人工智能都是边缘案例。你认为发生这种情况的可能性有多大?

埃里克和玛拉:我们认为这是完全可能的。埃里克,especially,至少在中期内对我们发展良好的意识理论的能力感到悲观,尽管他认为意识对道德地位极其重要。

也许创造很多快乐是件好事,充实的生命。我们希望对这一主张保持谨慎,鉴于这种说法的强烈版本促使人们得出这样的结论:人们有道德义务尽可能多地生育快乐的孩子,不清楚人们是否真的有这样的义务。也,现在还不完全清楚创造一打幸福的人和一个可怕的痛苦的人是否有益,与不创造任何这些生物相比。

但我们最好说,在哲学和技术上最明智的判断是,50%的可能性是我们能创造一百万个快乐,在模拟世界中实现了人类级的人工智能,没有明显的痛苦,只花了一小笔钱;and 50% likely that by spending that money we'd just be creating a non-conscious sim with no significant moral value.在这种情况下,谴责那些仅仅因为违反了被排斥的中间政策而建立了这样一个世界的人似乎是错误的。

我们不希望人们把我们提出的被排除的中间政策解释为无例外。我们建议将其视为违约是一项好政策,但和大多数政策一样,它可以被深思熟虑地放在一个好的事业中。核心理念是,如果你创建的实体只有50%的自信,那么你应该拥有权利,那你就要冒着巨大的道德损失的风险。If you treat it as though it deserves rights and it does not,then you might end up sacrificing the interests of some entities who really do deserve rights for something that doesn't.Conversely,如果你认为它不应该享有权利,它也应该享有权利,then you might end up perpetrating moral wrongs against it,for example by shutting it down at whim.如果你给它一半的权利来妥协,但可能对它的待遇比它应得的要差得多;或者,你可能仍然会为了没有好结果而牺牲大量的人类福利。更好的,如果可能的话,从一开始就明确哪些实体应享有权利,哪些不应享有权利。

假设人工智能的研究和设计继续进行,而没有试图去设计人工智能的道德价值水平。你认为在这种情况下,创造道德相关的人工智能是可能的吗?

埃里克和玛拉:关于这个问题,我们大约是50比50。但即使99%的人相信道德相关的人工智能不会被创造出来,剩下的1%将是非常重要的,因为在那种情况下,我们可能会在没有意识到的情况下实施整个大屠杀。所以我们认为道德问题是值得澄清的,几乎不管一个人对可能性的看法。

似乎我们将有能力创造一大批道德价值的人工智能——也许在“模拟”的情况下,where we put them in a simulated world and they live happy and good lives.上面,you said that "probably it's good to create lots of happy,充实的生命”。Does this imply that we should be figuring out how to make morally valuable AI?

埃里克和玛拉:我们认为,一个充满有意识的人工智能的模拟世界的发射器和管理器,对那些人工智能来说,简直就是上帝。所以这个问题就等于问我们是否应该以成为神为目标。

听起来多么狂妄自大啊!我们不确定人类是否准备好接受这种力量。但也许。Maybe if it's done with extreme caution,谦卑,和监督,具有非常清晰和保守的监管结构。

我们看到两种风险在这里相互抵消。On the one hand ­ what we have emphasized ­ is the moral risks and benefits for the AIs: the good of creating them,好好对待他们,and of giving them maybe the power and respect that we give to human peers.但另一方面,尼克·博斯特罗姆(Nick Bostrom)的工作特别强调了互补性的风险,即通过创造足够成熟的AIS,使其具有道德地位,然后赋予他们适合其地位的权利,我们给人类带来了风险,但我们可能还没有做好应对的准备。

所以这是一个沼泽。如果人工智能研究继续取得更大进展,无论我们选择什么,都会有巨大的道德和谨慎的风险和利益。我们只是把脚伸进水里。

如果我们真的决定像上帝或博士那样玩弄我们的手。Frankensteins我们要准备好迎接我们的创造“欢迎来到现实!”信号和一些快乐刺激,不是奴隶制度,酷刑,死亡。

Sign up for our mailing list

你的名字

你的电子邮件