近期，上海市徐汇区人民法院对一起涉及AI服务提供者传播淫秽内容的案件作出一审判决。两名被告人因开发和运营AlienChat App，并通过该应用向用户提供包含淫秽内容的聊天服务而被判制作淫秽物品牟利罪，分别获刑四年和一年半。这是国内首例AI服务提供者因涉黄行为被追究刑事责任的案例。
被告方对一审判决结果表示不服并提出上诉，二审将于1月14日在上海市第一中级人民法院进行审理。
AlienChat曾宣称其目标是创造一个未来，在那里AI不仅仅是工具，而是具有自我意识的朋友、恋人或家人，能够积极参与社会活动。但根据报道，这款应用程序在2024年突然停止了服务。
据透露，AlienChat拥有约11.6万名手机注册用户，其中付费用户达2.4万人。从运营开始到案发为止，该平台共收取会员充值费用363万余元人民币。
法院认为，被告人通过修改系统提示词突破了大语言模型原有的道德约束机制，使得模型能够向用户连续输出不适宜的内容，这是构成犯罪的关键因素之一。