Roblox推出开源人工智能系统，以保护孩子免受聊天中的掠夺者

在线游戏平台Roblox正在推出一个开源版本的人工智能系统，该公司表示，该系统可以帮助先发制人地检测游戏聊天中的掠夺性语言。

此举正值该公司面临诉讼和批评，指责它在保护儿童免受性侵犯方面做得不够。例如，上个月在爱荷华州提起的一项诉讼称，一名13岁的女孩在Roblox上被介绍给一名成年掠夺者，然后被绑架、贩卖到多个州，并遭到强奸。这起在波尔克县爱荷华州地方法院提起的诉讼称，Roblox的设计特点使使用它的儿童“容易成为恋童癖的猎物”。

Roblox表示，他们努力使自己的系统在默认情况下尽可能安全，但也指出“没有一个系统是完美的，该行业最大的挑战之一是发现潜在的儿童危险等重大危害。”

这个名为“哨兵”（Sentinel）的人工智能系统有助于发现可能危及儿童健康的早期迹象，比如性剥削语言。Roblox表示，该系统已使该公司在2025年上半年向国家失踪和受剥削儿童中心提交了1200份潜在的儿童剥削企图报告。该公司目前正在将其开源，以便其他平台也可以使用它。

对人工智能系统和人类来说，先发制人地发现可能对孩子造成的危险是很棘手的，因为对话一开始似乎是无害的。像“你多大了？”或者“你来自哪里？”这句话本身并不一定会引起警觉，但在长时间的谈话中，放在上下文中，它们就会有不同的含义。

每月拥有超过1.11亿用户的Roblox不允许用户在聊天中分享视频或图片，并试图屏蔽电话号码等任何个人信息，不过就像大多数审核规则一样，人们不断找到绕过这些保护措施的方法。

它也不允许13岁以下的孩子在游戏之外与其他用户聊天，除非他们得到父母的明确许可。与许多其他平台不同的是，它不加密私人聊天对话，因此它可以监控和调节它们。

“我们一直都有过滤器，但这些过滤器往往侧重于单行文本或几行文本中的内容。Roblox的首席安全官马特·考夫曼（Matt Kaufman）说：“这对阻止脏话和不同类型的辱骂性语言等事情非常有用。”“但当你考虑与儿童危害或打扮有关的事情时，你所看到的行为类型会在很长一段时间内显现出来。”

Sentinel捕获了Roblox上一分钟的聊天记录——每天大约有60亿条消息——并分析它们的潜在危害。为了做到这一点，Roblox说它开发了两个索引——一个由良性信息组成，另一个由被确定包含危害儿童行为的聊天组成。Roblox表示，这可以让系统识别出有害的模式，而不仅仅是简单地标记某些单词或短语，而是将整个对话纳入上下文。

“随着我们发现更多的不良行为者，这个指数会变得更好，我们会不断更新这个指数。然后我们有另一个普通用户会做什么的样本？Roblox信任与安全工程副总裁纳伦·科内鲁（Naren Koneru）说。

当用户在聊天时，系统会记录分数——他们是更接近积极的集群还是消极的集群？

科内鲁说：“这不会因为你只发送了一条信息而发生，而是因为你每天的所有互动都指向这两者中的一个。”“然后我们说，好吧，也许这个用户是我们需要更仔细地观察的人，然后我们去提取他们的所有其他对话，其他朋友，他们玩过的游戏，以及所有这些东西。”

人类会审查有风险的互动，并相应地通知执法部门。