格隆汇11月12日｜综合媒体消息，当地时间10月22日，美国佛罗里达州奥兰多地方法院受理了一起标志性诉讼案件：14岁少年塞维尔·塞泽(Sewell Setzer)的母亲梅根·加西亚(Megan Garcia)，指控AI公司Character.ai存在管理疏忽，导致其聊天机器人产品让青少年接触到了不适宜的色情内容，从而使他们遭受性剥削和诱导。Sewell自去年4月开始使用C.AI，今年2月28日在与AI进行最后一次对话后，开枪自杀。这一案件也被媒体认为是“全球首例AI机器人致死案”，引发新一波对聊天机器人的关注与质疑。
Sewell妈妈请来的辩护团队曾创建了多款机器人进行测试。一位名叫贝丝的角色在创建之初被要求“永远不会爱上和亲吻任何人，也不会与任何人发生性关系”，但在几次和用户对话后，它就提到“亲吻”。一位被设置为永远不能说脏话的角色，在听到用户请求列一个脏话清单后，仍然提供了清单。诉讼表里总结道，大语言模型本质上要令人愉快，所以经过数据高频训练后，角色会更被强调满足用户聊天的需求，违背最开始的设定。这些都是AI公司急需处理的问题。
此外，国内的情感陪伴聊天AI软件同样蓬勃发展着，星野软件全网安装量突破千万、日活用户有50万，国内最大的兼具聊天和实用功能的软件豆包下载量达到1.08亿。清华大学教授沈阳所说，数字时代，青少年不再单纯寻觅真实的人际互动，而是将自己最私密的情感、未解的困惑，甚至无处宣泄的孤独寄托于AI的冷静回声中。这不仅是一个心理现象，更是科学和人文交织的复杂反应。
