天狱：人机冲突中的伦理问题_

2019年三季度以来，多家第三方大数据公司业务负责人被警方带走协助调查。用大数据和人工智能技术为“套路贷”平台提供系统、数据和催收，不但是当下个人隐私和数据安全问题的集中爆发，也是智能时代引发人文危机的一个缩影。

一方面，数字化、自动化、智能化技术的指数增长把人类带入了激动人心的繁荣时代；

另一方面，机器人、人工智能、生物工程和遗传学不受约束地对人类生活甚至人类本身渗透和融合，将最终导致系统性忽视人类存在的基本原则。

未来学家戈尔德·莱昂哈德在《人机冲突——人类与智能世界如何共处》中，将人类的这种处境形容为：“我们正处在天堂与地狱的混合体中，这被称之为天狱（Hell Ven）。”

在人工智能技术的支持下，人脸识别技术被别有用心地滥用已经愈演愈烈。一个涉及种族歧视的例子是，纽约时报曾公布了一个结果，美国现在最先进的人脸识别技术对白人女性的性别判断错误率是7%，而对深色皮肤的女性性别识别错误率高达30%。随着机器习得类人的能力，它们也容易习得某些人类的偏见，这种偏见若被放大，后果不堪设想。

对于以“人工智能+教育”为名监测学生上课状态，也引发了关于侵犯少年儿童隐私权及影响孩子身心健康的大量争议。比如，2018年5月，杭州某中学引进“智慧课堂行为管理系统”，实时统计分析学生的面部表情和行为，可以识别高兴、反感、难过、害怕、惊讶、愤怒和中性7种表情，以及阅读、书写、听讲、起立、举手和趴桌子6种行为。

今年3月初，广东省某中学又斥资485万元采购3500个电子手环，用来精准定位、检测上课举手次数及每日活动量等。类似的影响人类未来的智能化产品，并将产生难以预料的伦理后果。

人机冲突的基本逻辑在于：信息技术遵从的“摩尔定律”这种指数发展的速度已经扩展到很多领域，但人类道德、文化、社会体系却并没有相应的指数化增长。人工智能的发展速度更是高于摩尔定律，这种反差和冲突将越来越大。

如此，不但技术已经发展到从强化自然到替代自然的程度，人类的大脑算法也正在被各种智能化的理性计算替代，甚至人类已经成为这些技术产品控制的对象。当地球上既有的伦理文明、价值观无法跟得上技术的脚步，人类的基本尊严就会受到空前的挑战。

例如，机器人不仅威胁到了大量低端产业工人的就业，甚至还被应用在比人类劳动者更高的监督岗位，监督人类工作。美国科技媒体theVerge公开了一份亚马逊公司内部文件，在亚马逊的仓库里，一个工人每小时必须完成几百个包裹的包装工作，强大的AI机器监控系统不仅能跟踪每个人的工作进度，甚至还能精确计算工人消极怠工的时间。更可怕的是，按照生产率考核的算法，AI系统能够自动生成警告以及发出解雇员工的指令。

中国首例基因编辑婴儿的问世为什么引发强烈的社会反响，招来科学界和全社会的一致批判，也在于此。

“人机冲突”最大的动力来自巨大的商业利益驱动。莱昂哈德指出，利用技术的指数发展特征连接大众，提供廉价而容易上瘾的移动设备，可能是有史以来最大的生意。

在这方面，由于能够创造每年上万亿美元的生意，数据确实已经成为新的石油，从大数据和网络社会中挖掘资源的公司，正在迅速成为新一代的埃克森美孚石油公司，迫不及待地要为大众提供新鸦片。

用莱昂哈德的话，就是“如果搜集数据的能力被人工智能和物联网放大一千倍，你一定可以听到他们数钞票的声音。”

“人有病，天知否？”在这种技术变革与商业利益共同带来的伦理困境中，莱昂哈德认为人类成为了、、的受害者。包括人工智能、生物工程、认知运算在内的所有指数型技术，尤其是人类基因一旦进入到数字肥胖这种状态，再想减肥，回归到之前的生活模式就很难。我们会变得越来越像机器，以便更好地适应机械化的世界，比如大量的点赞、评论和加好友很容易让人们沉迷到无法自拔。人们承受了太多毫无意义的人际关系，线下生活反而成为一种新的奢侈。

人类总是拒绝不了效率的诱惑，莱昂哈德警示道：我们终将被一个巨大的机器操作系统支配，这个操作系统不断地自我学习，并把输出反馈给我们，直到它不再需要我们贡献的输入。届时，我们的价值将低于我们创造和训练的技术。

这方面最典型的是人们津津乐道抱以巨大期待的脑机连接，人与机器之间的正负反馈可能导致无法辨认谁是系统真正的主体，将会产生更多法律伦理以及社会治理问题。

基于这些原因，《人机冲突》一书提出了“保护自然生理状态的权利”“可以效率低下的权利”“断网的权利”等5项新人权，也提出了15项不应该做的事情，还有9项原则。

但是，如何保障这些权利和原则？如何激励人们能够认识到这些权利和原则？却仍然是乌托邦式的一厢情愿。