换句话说，即使不发生智能爆炸，很快地球上大部分展现出目标导向性质的物质都会是设计出来的，而不是进化出来的。
建筑物、道路、汽车这类工程实体似乎很快就要赶上植物和动物这类进化出来的实体了。
这种设计出来的“第三类”新型目标导向行为的物体可能比它的产生过程更加多姿多彩，所有进化而来的物体都有一个共同的目标，即复制。
而设计出来的物体却可能拥有各种各样的目标，甚至拥有相反的目标。比如烤箱的目标是加热食物，而冰箱的目标则是冷冻食物。
发电机将动能转化为电流，而电动机将电流转化为动能。标准象棋程序想要赢得比赛，而还有一种程序参赛的目标是输掉象棋比赛。
设计产品还有一个历史趋势它们的目标不仅变得越来越多样化，而且变得越来越复杂，人类的机器变得越来越聪明了。
最早的机器和人造物的目标都很简单，比如房子的目标是让人类保持温暖、干燥和安全。
后来，人类逐渐学会了建造拥有目标更加复杂的机器，比如扫地机器人、自己飞行的火箭和无人驾驶汽车。
人工智能方面的进展还给人类带来了像深蓝计算机、沃森和aphag这样的系统，它们的目标分别是赢得象棋比赛、猜谜游戏和围棋比赛。这些目标都十分复杂，人们费尽心思才理解了它们高超的技艺。
当人类建造机器来帮助人类时，可能很难保证它们的目标与人类的完全一致。譬如说捕鼠器可能会错把你的脚趾头当成饥饿的老鼠，结果让你疼得龇牙咧嘴。
所以机器都是拥有有限理性的主体，即便是今天最复杂精巧的机器，对世界的理解程度也远远比不上人类人类。因此它们行事的规则通常过于简单。
那只捕鼠器总是乱夹是因为它完全不知道什么是老鼠；同样地，许多致命工业事故之所以会发生，正是因为机器完全不知道什么是人，而2010年导致华尔街“闪电崩盘”事故、造成万亿美元损失的计算机，也完全不知道它们的行为是胡作非为。
如果机器变得更聪明，就能解决许多“目标一致性”问题，但是正如人类从普罗米修斯故事中所看到的那样，日益聪明的机器智能也可能给人类带来新的挑战，因为人类必须保证它们与人类的目标一致。
机器变得越智能和越强大，保证它们的目标与人类的相一致就越重要。如果人类建造的机器比较愚钝，那问题就不是“人类目标最后会不会胜出”，而是“在人类搞明白如何解决目标一致性的问题之前，这些机器会带来多少麻烦”。
然而，如果人类建造的机器具备超级智能，那事情可能便正好相反由于智能就是完成目标的能力，那么，在完成目标这点上，超级智能理所当然强于人类，因此它最终一定会胜利。
如果你想体验一下与机器目标不一致的感觉，只要下载一个最先进的象棋程序，然后和它对弈，就能体会到了。你可能永远赢不了它，而它的技艺还会越来越精湛。
换句话说，通用人工智能带来的真正风险并不是它们的恶意，而是它们的能力。
一个超级智能会非常善于完成它的目标，如果它的目标与人类的目标不一致，那人类就有麻烦了。
人们在建造水电站大坝时，根本不会考虑会淹没多少蚁丘。因此大多数研究者认为，如果人类最终造出了超级智能，那人类必须保证它们是友好的人工智能。“友好的人工智能”是人工智能安全性研究提出的一个概念，是指目标与人类相一致的人工智能?。
想要让超级人工智能与人类的目标相一致很重要也很困难。实际上这目前还是个未解之谜。这个问题可以被划分成三个子问题，每一个都是计算机科学家和思想家正在研究的活跃课题让人工智能学习人类的目标；让人工智能接受人类的目标；让人工智能保持人类的目标。
人类先来依次探讨一下这三个问题，“人类的目标是什么意思”这个问题先推迟到下一节再探讨。
要学习人类的目标，人工智能需要搞明白的不是人类做了什么，而是人类为什么这么做。这对人类来说易如反掌，所以人类很容易忘记这件事对计算机来说有多困难，也常忘记这个问题很容易被计算机误解。
如果在未来，你叫一辆无人驾驶汽车尽可能快地送你去机场，而它确实会不择手段地让你火速赶到了机场，那你可能会一路被直升飞机追赶，并且呕吐一地。
如果你声称“这不是我想要的。”