人工智能在被赋予明确的目标之后，通常会根据实际情况自主选择实现目标的途径。也许一开始它只是被赋予了一个为全人类服务的目标，但在将来的某一个时间，它会发现毁灭人类变成了实现这一目标的途径。如果AI这个时候已经成为君主，那么它自然有能力不惜一切代价来达成这个目标。
电影《生化危机》系列中的AI“Red Queen”就是这样的一个例子。在系列的第一部中，当T病毒泄漏后，为了不让其外泄到地面，“Queen”将蜂巢全部封闭，导致所有工作人员惨死在蜂巢内。
在这个虚构的故事里，“Queen”已经具备了君主的能力，它的使命之一是阻止病毒泄漏到实验室外，而为了达成这一使命，它自行选择了符合社会效益总和最大化原则的做法。
这样的做法是否人道、是否公平，依然存在争议。然而，电影所描绘出的AI在不远的未来的确会具备这样的能力。
无意识的算法，可以利用大数据为人类提供便捷。但当我们在享受这些便利，并将算法塑造成君主之后，人类是否就会变成算法的奴隶？
(节选内容)
等到谷歌、脸谱网和其他算法成为无所不知的先知之后，很有可能就会进一步演化成代理人，最后成为君主。
为了解释这个过程，让我们以Waze为例。这是一个GPS导航应用程序，许多司机现在都在使用。Waze绝不只是地图，靠着数百万用户的不断更新，它能得知各种堵车事故和警车位置的信息，因此Waze知道怎样让你躲过繁忙的路段，让你以最快速度到达目的地。你到了某个路口，直觉要你往右但Waze要你往左，用户迟早都会明白，最好相信Waze而不要相信自己的直觉。
乍看之下，Waze算法应该只是先知的等级。你问问题，先知给你答复，但最后还是由你决定。然而如果先知开始赢得你的信任，合理的下一个步骤就是让它成为你的代理人，你只是向算法指定一个最终目标，它就会在没有你监督的情况下，自行达成目标。以Waze为例，就是你将Waze连接到自动驾驶的汽车上，并告诉Waze“走最近的路回家”或是“走风景最漂亮的路线”，又或是“走污染最小的路线”。由你来发号施令，交给Waze来执行。
最后，Waze可能就会成为君主。它手中握有大权，所知又远超于你，就可能开始操纵你和其他驾车人，塑造你们的欲望，让你们做出顾全大局的决定。例如，假设因为Waze实在太好用，所有驾车人都开始使用。再假设今天一号公路大堵车，而备选的二号公路车流相对顺畅。如果Waze只是让大家都知道二号公路顺畅，所有驾车人就会一窝蜂开向二号公路，最后又全堵在一起。在所有人都找到同一位先知，而且每个人也都相信这位先知的时候，先知就摇身一变，成为君主。这时的Waze必须为大局着想。或许它只会告诉一半驾车人二号公路顺畅，而不透露给另一半。这样一来，一号公路的堵车压力能够减轻，而二号公路也不至于无法消化车流。
