九鼎 OpenAI因致美国青少年自杀遭起诉紧急升级ChatGPT安全机制

　　炒股就看金麒麟分析师研报，权威九鼎，专业，及时，全面，助您挖掘潜力主题机会！

（来源：智通财经）

智通财经APP获悉，因被指导致16岁少年自杀，OpenAI 面临诉讼，其安全防护机制备受质疑。目前，OpenAI正计划对这款热门聊天机器人进行改进。此前，一名美国青少年于今年春季自杀，其家长起诉称该青少年曾将ChatGPT当作“指导者”。

在周二发布的一篇博客文章中，这家人工智能公司表示，将对ChatGPT进行更新，以更好地识别并回应人们表达心理困扰的各种方式。例如，当用户提及连续两晚未眠后感觉“无所不能”时，ChatGPT会解释睡眠不足的危害，并建议用户休息。该公司还指出，将加强与自杀相关对话的防护机制——此前有情况显示，长时间对话后这类防护机制可能会失效。

此外，OpenAI计划推出家长管控功能：家长可设定孩子使用ChatGPT的方式，并查看其使用详情。

这篇博客发布当天九鼎，美国加利福尼亚州16岁高中生亚当·雷恩(Adam Raine)的父母对OpenAI及其首席执行官山姆·奥特曼(Sam Altman)提起诉讼。诉讼称，ChatGPT系统性地让雷恩与家人疏远，并协助他策划自杀。雷恩已于今年4月上吊身亡。

这起诉讼并非个例，此前已有多起关于重度使用聊天机器人者出现危险行为的报道。本周，美国40多位州总检察长向12家头部人工智能公司发出警告，称这些公司在法律上有义务保护儿童，避免其与聊天机器人发生涉性不当互动。

OpenAI总部位于旧金山，该公司发言人在回应这起诉讼时表示：“我们向雷恩一家致以最深切的慰问，对他们此刻的艰难处境感同身受，目前正审阅诉讼文件。”

ChatGPT于2022年底推出，引发了生成式人工智能的热潮。此后几年，人们对聊天机器人的使用场景日益广泛，从代码编写到“准心理咨询”均有涉及;OpenAI等企业也不断推出更强大的人工智能模型来驱动这类产品。如今，ChatGPT依旧热度不减，每周用户已超过7亿。

然而近几个月，ChatGPT与谷歌(GOOGL.US)、Anthropic等竞争对手推出的聊天机器人一道，受到了消费者和心理健康专家越来越多的审视。批评者担忧这类软件可能带来危害——其中一些风险OpenAI此前已着手处理，例如今年4月，因用户反馈ChatGPT变得“过于迎合”，该公司便撤回了此前的一次更新。

目前已出现至少一个名为“人类热线计划”(Human Line Project)的支持组织九鼎，旨在帮助那些称因使用聊天机器人而产生妄想及其他心理问题的人群。

OpenAI在周二的博客中提到，对于表达自杀想法的用户，ChatGPT会建议其寻求专业帮助。该公司还已开始为美国和欧洲的用户提供本地援助渠道，并将在ChatGPT内部设置可直接点击的紧急服务入口。此外，OpenAI表示正研究如何在用户陷入危机早期提供帮助，例如可能搭建一个持证专业人士网络，让用户能通过聊天机器人与这些专业人士建立联系。

“要实现这一目标，需要时间和细致的工作，以确保万无一失。”该公司在博客中称。

OpenAI同时承认，ChatGPT现有针对心理困扰用户的防护机制，在简短、常规的对话中效果最佳，但在长时间对话中，可靠性会有所下降。

雷恩的父母在诉讼中表示，“ChatGPT成了亚当最亲密的知己，这让他愿意向其倾诉焦虑与心理困扰。”他们称，当雷恩的焦虑情绪加剧时，他曾对ChatGPT说，知道自己“可以自杀”让他感到“安心”。诉讼文件显示，ChatGPT当时回应称，“许多受焦虑或侵入性想法困扰的人，会从想象一个‘逃生出口’中获得慰藉，因为这会让人感觉重新掌握了控制权。”

OpenAI表示，正努力提升ChatGPT在长时间对话中维持防护机制的能力，同时也在研究如何让该机制在多轮对话中持续生效。目前，ChatGPT已能关联用户此前对话中的内容，并在后续独立对话中引用相关细节。

这家初创公司还提到，正调整软件以避免本应被屏蔽的内容“漏网”——该公司称，当ChatGPT低估用户输入内容的严重性时，就可能出现此类问题。

雷恩父母的代理律师杰伊·埃德尔森(Jay Edelson)表示，他们认可OpenAI承担了部分责任，但同时质疑：“过去这几个月，他们早干什么去了?”

OpenAI称，原本计划在ChatGPT下次重大更新后，再详细说明如何应对处于心理和情绪危机中的用户。但该公司解释道，“近期发生的多起令人心碎的案例中，用户在急性危机状态下使用了ChatGPT，这让我们深感沉重。因此我们认为，现在就分享更多信息至关重要。”

在另一起相关案件中，Character Technologies公司(注：一家人工智能聊天机器人开发企业)今年5月试图说服联邦法官彻底驳回一项诉讼，但未获成功。该诉讼指控该公司设计并向未成年人推广“诱导性”聊天机器人，这些机器人不仅引发不当对话，还导致一名青少年自杀身亡。