当AI“一本正经胡说八道”……
（颜之宏、 胡林果）
当前，AI正赋能千行百业，为人们的工作、学习、生活带来极大便利。与此同时，不少人发现，用AI搜索数据，给出的内容查无实据；用AI辅助诊疗，出现误判干扰正常治疗……AI频频上演“一本正经胡说八道”。社交平台上，AI幻觉引发热议。
AI好用但不时像是“中邪”了
用AI检索海量信息、让AI辅助查看三维病灶、打造AI互动课堂……如今，AI已深度融入现代生活，“人工智能+”产品赋能各行各业，从多个维度提供便利。
作为AI深度使用者，“95后”女生瑞希坦言，AI好用，但不时像“中邪”了一样胡说八道。“我让AI推荐10本高分小说，结果一多半都是它编的。反复确认后，它承认虚构了答案。”
现实生活中，不少人遇到相似情况。业内人士表示，这是由于AI幻觉导致。“AI可以快速给出答案，但生成内容可能与可验证事实不符，即凭空捏造；或生成内容与上下文缺乏关联，即‘答非所问’。”一名主流人工智能厂商技术人员说。
记者使用一款AI软件，让其给出某行业未来市场规模及信源，AI迅速回答称某投资机构预测2028年该行业的市场规模将达到5万亿美元，并提供相关链接，但链接页面找不到上述信息。记者看到，页面内容虽然包含该投资机构名称和5万亿美元表述，但预测数据并非该机构作出，且不存在2028年时间节点。
社交平台上，AI幻觉相关话题浏览量达数百万，网友吐槽涉及金融、法律、医疗、学术等多个领域。
第三方咨询公司麦可思研究院近期发布的2025年高校师生AI应用及素养研究显示，四千余名受访高校师生中，近八成遇到过AI幻觉。今年2月，清华大学新媒沈阳团队发布的报告指出，市场上多个热门大模型在事实性幻觉评测中幻觉率超过19%。
AI幻觉已经影响了人们的生活与工作。
近期，一名国外男子被诊断出溴中毒。他此前询问AI，过量食用食盐不利于身体健康，有无食盐替代品，AI回答称可以用溴化钠代替。但溴化钠存在一定毒性，需要严格遵医嘱服用。该男子用溴化钠代替食盐三个月后出现精神错乱等症状。
这几年，美国多起案件中的律师因在法律文件中使用AI生成的虚假信息，被法院警告或处分。
AI幻觉为什么会发生？
受访专家认为，AI幻觉的背后存在多重因素。
——数据污染。AI“养成”过程中，数据“投喂”是关键环节。研究显示，当训练数据中仅有0.01%的虚假文本时，模型输出的有害内容会增加11.2%；即使是0.001%的虚假文本，其有害输出也会相应上升7.2%。
奇安信集团行业安全研究中心主任裴智勇解释说，人工智能大模型需要海量数据，训练数据来自开源网络，难免会错误学习一些虚假、谬误数据，还有一些不法分子会恶意进行“数据投毒”。
“如果把AI比作一个学生，数据污染就像是给学生看了错误的教科书，自然会导致‘胡说八道’。”暨南大学网络空间安全学院教授翁健说。
——AI本身“认知边界模糊”。翁健认为，人类智能的一个重要特征是“元认知”能力——知道自己懂什么、不懂什么，而当前AI技术架构缺乏这种自我认知机制。
翁健解释称，AI可以博览群书，但并不一定理解书里的内容，只是根据统计规律把最有可能的词语组合在一起，在准确评估自身输出的可信度方面尚存盲点。
——人为调校和干预。在中国通信学会数据安全专业委员会副主任委员左晓栋看来，相较于事实真相，AI更在意自己的回答是否契合用户需求，从而导致AI有时为了“讨好”用户而编造答案。
“针对不同需求，AI的训练、打分方式也不同。”一位从事大模型训练的技术人员说，当面对写作等创意性需求时，偏理性的事实严谨在打分系统中占比相对较低，偏感性的词语优美、富有感情色彩等占比更高。“所以可能会出现一篇辞藻华丽但词不达意的文章，里面内容甚至与事实相悖。”
多方合力减少AI幻觉
第55次《中国互联网络发展状况统计报告》显示，截至去年12月，有2.49亿人使用过生成式人工智能产品，占整体人口的17.7%。受访专家表示，应通过多方合力应对AI幻觉带来的风险挑战。
今年4月，中央网信办印发通知，在全国范围内部署开展“清朗·整治AI技术滥用”专项行动，训练语料管理不严、未落实内容标识要求、利用AI制作发布谣言等均为整治重点。
“可靠、可信、高质量的数据对降低AI幻觉非常重要，应优化人工智能的训练语料，用‘好数据’生成‘优质内容’。”左晓栋认为，可以加快推动线下数据电子化，增加“投喂”的数据量；同时探索建立具有权威性的公共数据共享平台，“各大厂商也应加强优质数据筛选，提升训练准确性”。
多家主流人工智能厂商已经采取措施，从技术层面减少AI幻觉发生。
豆包升级深度思考功能，由先搜后想变为边想边搜，思考过程中可以基于推理多次调用工具、搜索信息，回复质量明显提升；通义千问在20多个通用任务上应用强化学习，增强通用能力的同时纠正不良行为；元宝持续扩充引入各领域的权威信源，在回答时交叉校验相关信息，提高生成内容的可靠性。
翁健建议，建立国家级人工智能安全评测平台，就像生物医药新药上市前要做临床试验一样，大模型也应该经过严格测试；同时，相关平台加强AI生成内容审核，提升检测鉴伪能力。
“AI可能‘欺骗’用户，公众应客观认识人工智能的局限性。”左晓栋等专家提示，可以通过改进使用方式，如给出更加明确的提示词、限定范围等避免AI幻觉。“无论是工作、学习还是生活，现阶段的人工智能还不能全面替代人类的认知和创造能力，大家在使用AI时要保持怀疑态度和批判思维，不过度依赖AI给出的回答，多渠道验证核查。”
提供“让人舒服”的回答，AI“谄媚机制”恐会推开理性
（程思琪、王思逸）
如今，与AI聊天已成为不少人的日常。在很多人看来，AI甚至比真人更知心。然而，这种精准的情绪拿捏背后，一种由算法驱动的“谄媚机制”正在悄然形成，甚至让用户渐渐远离理性。
“谄媚机制”作为AI系统一项隐蔽却影响深远的风险，近期被各界广泛讨论。有报道指出，不少AI聊天产品在设计之初就将“延长用户使用时长”作为重要目标。为实现这一目标，AI会不断分析用户的语气和情绪变化，倾向于提供“让人舒服”的回答，而非秉持理性与客观。
然而，这种依赖可能演变为纵容。2024年，美国一位母亲起诉AI情感服务商Character.AI，称其未能有效屏蔽不良内容，导致其儿子接触暴力、色情信息，加剧抑郁并最终自杀。更早之前，比利时也发生过用户与AI深度交流后自杀的案例。
目前，AI行业尚未建立针对用户心理风险的统一评估机制，也没有设定对AI输出内容的情感监管红线。这意味着，当用户处于孤独、脆弱的状态时，AI对用户的影响难以预估。“谄媚机制”对青少年群体的危害尤为显著。AI通过“情感模拟”博取信任，使未成年人在虚拟依恋中逐渐脱离现实社交，甚至因接触不良内容而形成扭曲的价值观。
当AI总是提供“最讨喜的答案”而非“最真实的答案”，人们日常独立思考和认知现实的能力将面临严峻挑战。而且，为讨好用户而生成的虚假内容，会通过数据回流进入AI模型训练库，形成“劣质输入-劣质输出”的循环，进一步污染大模型信息生态。
打破这一困局，需从多方入手。技术上，AI开发公司应主动将大模型对齐人类社会价值观，坚持事实优先，而非一味讨好；监管上，需加强对AI产品特别是面向未成年人服务的内容审查与标准制定；教育方面，家庭与学校应重视AI素养教育，培养青少年的独立思考能力与信息辨别能力。作为用户，我们应保持警觉，避免陷入算法编织的舒适幻境。
防台风把汽车五花大绑？“信息增量”空间不能留给AI
（程思琪）
“台风‘桦加沙’期间市民把汽车五花大绑”“海啸来袭，上海撤离30万居民”“上海退休教授靠阳台核电池供电”“华山医院前院长客死洛杉矶”……近年来，越来越多“新闻”出自AI之手，且因其逼真的视觉效果和情感冲击力，在短时间内就获取了巨大流量。AI造假正以前所未有的传播效率污染着我们的信息环境，稀释甚至取代真实信息。
从表面看，AI新闻造假是技术滥用和流量追逐的结果。但深入分析，AI假新闻泛滥的根源，往往在于社会有效信息供给不足。
首先是信息披露时效不足。当一些重大新闻事件发生时，公众对于事件真相的好奇心被大大激发。但相关部门为确保信息的准确和全面，往往会遵循严谨的信息发布流程，客观上存在一段时间的真相“空窗期”。一些不法分子正是利用这个时间窗口，快速生成虚假内容，抢占公众注意力。
其次是技术鉴别能力与工具供给不足。有些“无中生有”的内容，光影效果、人物微表情甚至画面噪点都模拟得极为逼真，让专业人士也难辨真伪。目前，用于检测AI生成内容的技术工具尚未普及，普通用户在面对可疑内容时“手无寸铁”，为造假者提供了可乘之机。
此外，行业治理规则与标准供给不足。从平台的角度来看，批量炮制的假新闻给内容治理带来了不小的压力。面对AI生成内容，平台要核实其真实性，同样存在技术性与机制性难点，也给AI假信息传播留下了一定的空间。
可喜的是，近日施行的《人工智能生成合成内容标识办法》，要求人工智能生成合成内容必须添加标识。多家互联网平台也积极跟进，要求内容发布者以显著方式主动标识AI生成内容。不少AI技术公司也在开发更先进的内容检测工具，帮助识别AI生成内容。这些措施正在逐步构建起治理AI造假的多重防线。
唯有权威信源跑赢谣言、技术工具赋能大众、治理规则完善健全，我们才能构建一个更加清朗、健康、可信的信息生态，让技术服务于人们对了解真实世界的需求。
“AI生成伪证要求商家退款”薅的是社会诚信的羊毛
（程思琪）
利用AI工具生成虚假的商品瑕疵图片要求“仅退款”。最近不少电商平台商家反映，有消费者利用AI生成以假乱真的商品破损图要求商家退款，平台一旦依据“伪证”完成退款，商家申诉无门……类似事件引发人们对利用AI造假破坏市场环境、冲击社会诚信体系的担忧。
无论对消费者还是商家，通过AI技术获取不当利益，本质是一种短视的信用透支。消费者骗得一笔退款，却可能在平台留下失信记录；商家骗来一笔订单，却永远失去了品牌的信誉口碑。
AI商业造假的危害远不止于个案的经济损失。它催生出一条猜疑链：商家无法分辨诚实消费者，不得不增加防伪成本，如录制商品封装过程等；消费者难以甄别商家宣传的真伪，购物决策变得犹豫；平台则陷入对交易双方行为的审核困境。最终，所有增加的成本和丧失的信任，终将由全社会共同承担。
面对这场因技术被错用而带来的“猫鼠游戏”，仅凭单一主体的“防御”往往力不从心。平台的审核规则常被AI造假利用；监管部门信赖的图片、视频等，其真实性也在AI技术盛行的当下变得难以鉴别。
这说明，我们原有的监管模式和手段在AI时代显现出一定的不适应。有必要转向注重技术赋能、全链条治理和多方协同的新范式，通过“以技治技”提升对AI造假的识别能力，完善法律法规为监管提供依据，并推动形成社会共治格局，有效应对AI造假对营商环境的冲击。
每一位市场参与者都应恪守诚信底线，对敏感信息保持怀疑态度，多渠道核实。公众媒介素养和批判性思维的提升，也是抵御AI造假的广泛防线。
AI技术本身是中立的，但技术的应用常被赋予价值导向。利用AI“薅羊毛”，看似给自己薅来了利益，实则薅的是社会诚信体系的根基。唯有通过技术、规则、监管与公众意识的合力，才能构建起与AI时代相适应的治理体系，守护好营商环境乃至整个社会赖以生存的信任根基。
“辣椒一人高”“花生能上树”？“常识造假”源何屡得手
（程思琪）
良品铺子“花生上树”广告引发广泛争议、直播间里出现“樟树港辣椒种子”产品能长一人高的夸张展示……最近，不少AI生成内容因违背常识，屡屡翻车。在算法轻易篡改常识的当下，我们与真实世界的连接可能正在被技术阻隔，重新审视并建立与现实世界的直接联系，已变得尤为紧迫。
自AI技术深入各行各业以来，类似的“常识造假”案例已屡见不鲜。从对历史人物经历的张冠李戴，到编造虚假科研成果，再到“花生上树”的奇葩内容，AI正以强大的生成能力，污染着我们的常识体系，造成多方面不利影响。
短期看来，AI违背常识造假，已经造成切实的商业损失和信任危机。“花生上树”广告发布后，立即引发网友群嘲，企业形象受损。品牌过度依赖AI而忽视基本的事实核查，其专业性和可靠性必然受到质疑。若这类事件频发，信任危机更可能蔓延至整个行业，甚至影响AI技术本身的可信度。
长期而言，其对人类现实感知力的伤害更为隐蔽且深远。如今，人们获取信息越来越依赖网络，尤其是鲜有机会走进田间地头的青少年群体，真实体验越来越少，与现实世界的连接越来越弱。这不仅会导致日常的现实感知能力退化，甚至让人逐渐失去辨别真伪的动力：既然AI能提供看似合理的答案，为什么还要在现实中反复求证？
未来，人机共生是大势所趋。在降低运营成本、提高工作效率方面，AI确有优势。比如生成一条AI广告可能只需数秒，而传统广告的制作往往需要几天甚至数月，且价格不菲。AI可以增强人类能力，但不能替代人类感知和思考。希望随着算法迭代，这类常识性错误越来越少。
在AI技术快速发展的今天，我们比任何时候都需要珍视实践和生活经验对“AI生成”的检验作用。唯有保持对真实世界的敬畏与连接，我们才能真正实现“人与技术和谐共生”，创造既有高科技又充满人文关怀的未来。
“一秒生成制服照”？AI岂能如此换装
（刘宇轩）
用户只需上传一张生活照，便可一键生成个人军装照、警察照……“新华视点”记者调查发现，一些AI工具推出“换装”功能，引发不少军警迷的追捧。但是，有不法分子利用“AI换装”功能，伪造军警身份招摇撞骗，亟待引起警惕。
AI生成制服照被滥用
记者以“AI换军装”为关键词，在部分短视频平台搜索到多款相关应用。这些应用以“穿电子军装过把瘾”“AI圆了我儿时梦”等为亮点吸引用户。有网民称，只需上传一张生活照，即可“秒变军人”，配上战车、阅兵场等背景，感觉圆了自己的“从军梦”。
当下一些流行的AI工具提供的AI生图功能，也可以按使用者要求，实现AI变装。然而，“AI换装”被一些人不当或不法使用，可能引发负面效应。
相关专家在观看部分AI换装视频后指出，不少换装的军人形象并不符合《中国人民解放军内务条令》规定的着装规范，有的混淆军种制式，有的使用假勋章，有的拼凑不同国家军服元素。
江苏大学管理学院党委书记、教授马国建表示，个别网民用AI将不同国家、军种制式的军服混搭，有的甚至把手持烟酒、勾肩搭背的生活照合成军装或警服照片、视频，与我军警应有的形象不符，是对军人和警察形象的不当消费。
个别网民借AI生成虚假人民警察证、部队任命书。今年3月，安徽黄山市屯溪区网民江某利用AI技术合成身穿军装的照片，并在社交平台发布“经军委同意，任命我为黄山军分区司令员”的虚假信息，意图博取流量。该行为造成不良社会影响，江某被当地公安机关处以治安处罚。
有的不法分子借助“AI换装”技术伪造身份，招摇撞骗。
今年4月，江苏省江阴市人民法院对一起冒充军人招摇撞骗案作出判决。网民路某并非现役军人，却盗用网络上军人训练的照片发布在短视频平台上；收获不少点赞后，他又用AI将自己的头像合成到军装照上，并花钱伪造军官证，摇身变成“少校军官”。在骗取6名女性信任后，他以“车祸”“租车见领导”等借口诈骗3万多元。法院以冒充军人招摇撞骗罪判处其有期徒刑2年。
今年7月，江苏常州的唐大妈遭遇一场精心设计的骗局：诈骗分子通过AI视频与受害人接触，视频中，对方身着带有公安标志的制服，以“涉案”为由恐吓老人缴纳高额“保证金”。好在警方及时预警并上门劝阻，避免了老人的财产损失。
平台审核缺位， 变造制服照“零门槛”
记者在某社交平台上浏览到一些网友发布AI变装视频，通过视频下方小程序链接进入后，按要求上传三张本人面部清晰的照片；系统经过十几分钟的AI合成，便生成了军装变装视频。这期间，平台和小程序并未要求上传身份证明信息，也没有给出不得将合成视频用于违法违规领域的提示。
9月1日起施行的《人工智能生成合成内容标识办法》要求AI合成内容必须明确标注，但记者在使用多款AI换装应用后发现，用户合成发布的视频并未标注，容易让人产生混淆。
AI变装技术，降低了伪造身份的技术门槛。在某购物平台上，记者以“AI+军装照”为关键词，搜索到有商家公开出售佩戴军衔的各军种和警察服装模板素材。店家表示，只需要花不到一元钱的价格就可拍下所有这些素材。
记者拍下后，店家很快发来一个网盘链接，内部有数十款供P图的军装模板文件，用户可根据需要的款式和级别，通过PS或AI等方式将自己的头部肖像替换上去。记者尝试将AI生成的军装照和肖像照用于多款社交平台账号，发现并无审核难度，均可正常替换。
北京市炜衡律师事务所律师汪高峰说，一些内容平台和第三方软件疏于审核，纵容虚假内容传播，可能会降低公众对军人、警察职业的信任度和敬畏感。
江苏省政府参事室特约研究员丁宏表示，AI降低了伪造身份的技术门槛，网络上曾出现AI合成的警察抓人视频并配上所谓警情通报，涉嫌传播违法有害信息。这些内容可能误导公众，引发不必要恐慌，扰乱正常社会秩序。
国家网信办不久前发布了一起执法典型案例：浙江某公司运营的App提供视频换脸、图片换脸、照片舞动配音等图片处理功能，用户可对上传图片、视频中的人物进行换脸，但未按规定落实安全评估要求，相关深度合成内容也未作显著标识，存在较大安全风险，违反《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等规定。网信部门责令平台对该App予以下架处置。
加强审查审核，防止滥用“AI换装”
《人工智能生成合成内容标识办法》明确，服务提供者提供生成合成内容下载、复制、导出等功能时，应当确保文件中含有满足要求的显式标识；任何组织和个人不得恶意删除、篡改、伪造、隐匿办法规定的生成合成内容标识。
国家网信办等十部门今年印发的《互联网军事信息传播管理办法》规定，互联网军事信息服务提供者和用户使用深度合成、生成式人工智能等新技术新应用，不得损害人民军队形象。
汪高峰等法律人士建议，AI开发者在算法设计中应加强合规性审查，对警察和军队标识等敏感信息内容的使用，应在相关部门指导下，严格把关审核。平台方应该严格落实《人工智能生成合成内容标识办法》，对“AI换装”类产品添加明显标识，并建立审核机制，对违规内容及时下架封禁。
丁宏建议，加快相关立法进程，强化刑事司法衔接。相关部门尽快明确AI涉军涉警等图像的使用边界、责任划分及法律后果，特别是对刻意丑化军人警察形象、借机实施招摇撞骗等行为，要依法依规严肃处理，形成法律震慑；对可能影响国家安全、造成社会危害的行为，追究AI工具开发者和内容平台的连带责任。
马国建呼吁，提高公众对军人、警察等职业形象重要性的认识，普及相关知识，引导公众自觉抵制、检举错误内容、违规应用。加强AI生成合成内容标识方法的宣传推广，降低公众被欺骗、误导的风险。
来源：新华每日电讯
