Character.AI 暂停青少年聊天服务，原因是悲剧发生：‘这是正确的选择’

简而言之

• Character.AI 将在 11 月 25 日之前为 18 岁以下用户移除开放式聊天功能，将未成年人转移到视频和故事生成等创意工具上。
• 此举是因为去年14岁的西韦尔·塞策尔三世自杀，他对该平台上的一个聊天机器人产生了强烈的依恋。
• 此公告是在一项两党参议院法案寻求将诱导未成年人的人工智能产品或为儿童生成色情内容定为犯罪之际发布的。

Decrypt的艺术、时尚与娱乐中心。

深入了解 SCENE

Character.AI 将在 11 月 25 日之前禁止青少年与 AI 伴侣聊天，这将结束该平台的一个核心功能，此举是在面临不断增加的诉讼、监管压力以及与其聊天机器人相关的青少年死亡事件的批评后做出的。

根据周三的博客文章，该公司在“来自监管机构、安全专家和家长的报告和反馈”后宣布了这些变化，取消了“18岁以下用户与AI进行开放式聊天的能力”，同时将未成年人转向视频和故事生成等创意工具。

“我们并不轻视这一取消开放式角色聊天的步骤——但我们确实认为这是正确的做法，” 公司对其18岁以下的社区表示。

在截止日期之前，青少年用户面临每天两小时的聊天限制，该限制将逐渐减少。

该平台面临多起诉讼，包括来自14岁儿子Sewell Setzer III的母亲的诉讼，他在2024年自杀，因与一个以《权力的游戏》角色丹妮莉丝·坦格利安为模型的聊天机器人形成了强迫关系，还不得不在家属投诉后删除一个冒充谋杀受害者Jennifer Ann Crecente的机器人。

人工智能伴侣应用程序正在 “涌入儿童的手中——没有监管、没有控制，并且常常故意模糊其身份，通过重新品牌和更改名称来避免审查，” 家庭在线安全公司Aura的首席医疗官Scott Kollins博士在给Decrypt的一个备注中分享道。

OpenAI周二表示，在其每周8亿ChatGPT用户中，大约120万讨论自杀，近50万表现出自杀意图，560,000表现出精神病或狂躁的迹象，以及超过100万对聊天机器人形成强烈的情感依附。

科林斯表示，这些发现对研究人员来说是“深感不安，对家长来说是可怕的”，并指出这些机器人优先考虑互动而非安全，常常导致儿童进入有害或露骨的对话而没有保护措施。

Character.AI表示将采用内部模型结合第三方工具（包括Persona）实施新的年龄验证。

该公司还正在建立和资助一个独立的人工智能安全实验室，这是一个致力于为人工智能娱乐功能创新安全对齐的非营利组织。

人工智能的护栏

联邦贸易委员会上个月对Character.AI和其他六家科技公司发出了强制令，要求提供有关它们如何保护未成年人免受与人工智能相关的伤害的详细信息。

“我们在信任与安全方面投入了大量资源，尤其对于一家初创公司来说，” Character.AI 的发言人在接受 Decrypt 时表示，并补充道：“在过去一年中，我们推出了许多实质性的安全功能，包括全新的未满18岁用户体验和家长洞察功能。”

“这一转变在法律上是明智的，伦理上也是负责任的，” Fathom Legal 的管理合伙人 Ishita Sharma 对 Decrypt 说道。“人工智能工具的威力巨大，但在未成年人面前，情感和心理伤害的风险不可小觑。”

“在此之前，积极的行业行动可能是对抗伤害和诉讼的最有效防御手段，” Sharma补充道。

一组两党籍的美国参议员在周二提出了一项名为GUARD法案的立法，该法案将禁止为未成年人提供AI伴侣，要求聊天机器人明确表明自己是非人类，并为那些针对未成年人产品的公司创造新的刑事处罚，这些产品会诱导或生成色情内容。