据英国《每日电讯报》报道，美国佛罗里达州一名女子正在起诉谷歌公司和由两名前谷歌员工创办的Character.AI平台，指控这些平台的人工智能聊天机器人“教唆”她14岁的儿子自杀。
这名女子名叫梅根·加西亚，她的儿子塞维尔·塞泽尔与一个以《权力的游戏》中“龙妈”丹妮莉丝为原型的AI聊天机器人建立了情感联系。2024年2月，塞维尔问聊天机器人，“如果我现在回家会怎么样？”聊天机器人回答说，“......请便吧，我亲爱的国王。”随后，塞维尔拿起父亲的手枪自杀。
加西亚对Character.AI和谷歌提起诉讼，声称该平台提供了“拟人化、过度性化和可怕的现实体验”，并认为该平台“知道”或“应该知道”其模型会对大量未成年用户造成伤害。今年5月，法官驳回了该平台律师要求撤销此案的诉求，裁定此案可继续审理。这在法律上被视为一个“罕见突破”。
针对有关指控，Character.AI的一名发言人表示，该平台不对未决诉讼发表评论，但强调其目标是提供一个既吸引人又安全的空间。每次聊天中都设有醒目的免责声明，提醒用户角色并非真实存在，并已为18岁以下用户推出一个单独版本的大语言模型。
谷歌公司发言人何塞·卡斯塔内达则表示，谷歌和Character.AI是完全独立、互不相关的公司，谷歌从未参与设计或管理后者的AI模型或技术。谷歌一直以谨慎负责的态度开发和推出AI产品，并采用严格的测试和安全流程。