千问App可生成淫秽小说?客服回应,已加强内容审核,坚决抵制违规行为
有用户反映称,某智能问答App“千问”(注:此处为化名,实际可指代具体应用)存在“生成淫秽小说”的功能,引发网络热议,对此,该App客服团队迅速回应,明确表示平台已建立严格的内容审核机制,坚决抵制任何违法违规内容生成,并已对相关算法模型进行优化升级,防止此类问题再次发生。
用户质疑:AI生成内容触碰“红线”?
据部分用户爆料,在使用“千问”App进行文本创作时,输入涉及“低俗情节”“成人题材”等关键词后,AI生成了部分包含露骨描述的虚构小说片段,相关截图在社交平台传播后,不少网友担忧:“AI技术是否正在成为不良内容的‘生产工具’?”
随着ChatGPT等生成式AI技术的普及,各类智能问答、创作App层出不穷,但与此同时,AI滥用风险也逐渐显现——部分用户试图通过“诱导式提问”突破内容安全边界,利用AI的快速生成能力制作违规文本、图片甚至视频,这不仅违反平台规则,更可能触碰法律底线。 欧博abg官网赌场
客服回应:已启动专项治理,强化“安全护栏”
针对上述质疑,“千问”App客服团队第一时间发布声明,强调平台始终将“内容安全”作为核心准则,严格遵守《网络安全法》《生成式人工智能服务管理暂行办法》等法律法规,客服表示:
- 严格审核机制:平台已建立“AI预审+人工复核+用户举报”的三级审核体系,对用户输入的关键词及生成的文本进行实时监测,对涉及色情、暴力、恐怖等违规内容立即拦截;
- 算法模型优化:针对用户反映的“诱导生成”问题,技术团队已升级算法模型,加强对敏感指令的识别能力,拒绝执行违规生成请求;
- 用户引导与警示:在App内明确“内容规范”,通过弹窗、提示语等方式告知用户不得利用AI生成违法违规信息,违者将面临账号限制、永久封禁等处罚。
皇冠账号注册 客服还透露,平台已开通“违规内容举报绿色通道”,鼓励用户共同监督,共同维护清朗网络空间。
行业反思:AI发展需“技术”与“伦理”双轮驱动
此次事件再次敲响警钟:生成式AI在带来便利的同时,若缺乏有效约束,可能被滥用为传播不良信息的“帮凶”,国内主流AI平台均已建立内容安全机制,但“技术对抗”永无止境——部分用户通过“谐音替换”“分步诱导”等方式试图规避审核,这对AI的安全识别能力提出了更高要求。
业内人士指出,AI内容安全需要“多方共治”:企业需持续投入技术研发,筑牢“防火墙”;监管部门应完善细化标准,加强动态监管;用户则需提升法律意识,主动拒绝“试探底线”的行为,唯有如此,才能让AI技术在合法合规的轨道上健康发展,真正服务于社会创新与进步。
技术是中立的,但使用技术的人必须有底线。“千问”App的回应展现了平台对内容安全的重视,但AI治理是一场持久战,随着AI技术的不断迭代,如何平衡“创新自由”与“安全规范”,将是所有从业者必须面对的课题,而对于普通用户而言,合理使用AI、抵制违规内容,既是责任,也是守护数字社会的必要之举。 皇冠信譽網