科技舆论观察——警惕人工智能杜撰内容泛滥风险

发布时间:2025-04-27 发布者: 浏览次数:

  导读:AI生成内容凭借其逻辑自洽、细节逼真的特点,逐渐模糊了事实与虚构的边界。政府部门、媒体平台、企业与公众都有必要提升对AI内容的甄别与防范意识,建立多主体协同机制,强化技术与监管并行的防护体系。

  2025年伊始,中国人工智能领域迎来标志性突破,以DeepSeek为代表的本土大模型技术,凭借高性能、低成本的颠覆性创新引发全民AI热潮。AI技术凭借高效的内容生产能力,正广泛应用于各行各业,但随之而来的“AI污染”现象也正在悄然侵蚀中文互联网的信息生态,其带来的风险不容小觑。

  AI生成内容以逻辑自洽、细节逼真的特点,模糊事实与虚构的界限。近期,微博大V“阑夕”连发两条微博,抨击网络中充斥的AI捏造涉政、涉军虚假内容,以及网民盲目跟风炒作的乱象。此外,近段时间,中央纪委接连通报多起“打虎”案件,个别自媒体利用AI技术,在通报基础上杜撰多篇炒作“打虎”对象落马“内情”的文章,引发大量网民转发,严重扰乱舆论环境。

  除上述案例之外,还有多篇疑似AI大模型生成的文章搅乱舆论场生态。3月10日,微博账号“电盒校长”“随便聊聊车”等网络大V先后发布一张微信公众号文章截图,文章称鸿蒙智行法务部的公告揭露网络黑产链条,提及“某公司通过操纵32家MCN机构、1.2万个网络账号,对鸿蒙智行品牌及尊界S800车型发起系统性舆论绞杀”。该截图在互联网汽车领域迅速传播,引发舆论热议。但随着传播范围扩大,有网民发现文章中出现“19%45”(数字脚注为AI大模型生成内容惯用标注方式),该文章疑似为AI大模型生成。

  3月11日,一张声称某超一线男明星在澳门赌场连赌七日,输光全部流动资产的短文截图在网络平台上大肆传播,引发公众猜测涉事男明星是歌手周杰伦。然而,经过舆论查证,网传截图名为“Globa Financial Watch”的国际金 融调查机构并不存在,机构名称拼写有误,该截图内容可能为AI大模型生成。

  3月14日,公安部网安局发布通告,网民徐某强为博取流量、谋取非法利益,于3月10日使用软件“某书”中的AI智慧生成功能,输入社会热点词制作标题为“顶流明星被曝境外豪赌输光十亿身价引发舆论海啸”的谣言信息,并在互联网平台发布,造成谣言迅速扩散,相关话题频繁登上热搜热榜,严重扰乱公共秩序。公安机关根据相关法律法规,对徐某强处以行政拘留8日处罚。

  随着AI技术的不断完善,AI内容生成呈现出“批量生产、工业化制造”的趋势。此类乱象的产生主要源于两方面:

  一方面,AI技术本身存在“幻觉”(大模型为满足用户需求编造看似合理的信息)问题,在缺乏高质量训练数据时尤为突出。国内多数文本内容资料库“各自为政”,不对外开放,导致国产AI模型可以利用的语料库十分紧缺,多数依赖门户网站与资讯聚合网站的公开信息。

  近年来自媒体的兴起,一些公开信息充斥着大量杜撰、洗稿软件生成的虚假内容。这些虚假内容不仅快速传播,还可能被其他AI模型抓取、学习、再加工,形成“AI内容→AI训练数据→再生内容”的闭环,进一步模糊了事实与谣言的界限,给后续的信息考证带来更大难度。

  另一方面,部分内容生产者利用AI批量生成真假混杂的文本,通过情绪化标题和虚构细节吸引眼球,形成“谣言工厂式”的传播链。例如,某微信公众号以AI生成时政类文章,编造“直升机设计图纸暗网出售”等情节制造轰动效应,即便事后补充免责声明,其造成的传播危害已难以消除。

  AI技术编造内容污染底层数据的真实性,给不同主体带来诸多风险:

  首先,舆论场信任危机加剧,公信力受损。在时政、历史、文化等领域,自媒体借助AI技术杜撰虚假内容,通过“权威化叙事”渗透公共讨论,这些虚假信息一旦贴上“独家内幕”“深度分析”的标签,极易借助利用自媒体与社交平台的推荐算法,被主流平台和意见领袖转发,实现跨平台、跨群体的病毒式扩散,形成“谣言→传播→再训练”的恶性循环。虚假内容搭配煽情、耸人听闻的叙事方式,容易引发网民的情绪共鸣或愤慨。

  随着“同温层效应”扩散,舆论场出现群体极化,对抗情绪激化,理性思考的空间被严重挤压,不仅会削弱公众对媒体的信任,还可能撕裂社会共识。导致真实信息被伪内容淹没,舆论场难以形成理性共识。例如,“80后死亡率超5%”的谣言虽被证伪,但因其契合社会焦虑情绪,仍在社交平台广泛传播。

  其次,网民认知与决策受到误导,威胁社会稳定。 在突发事件或热点事件中,AI技术批量化生成的虚假信息被高强度、跨平台分发,严重误导舆论走向,干扰应急措施和公共管理,进而引发社会混乱。深度伪造(Deepfake)技术还会侵害个人名誉与隐私安全。

  AI能够模仿个人的声音、样貌或文字风格,并与不实内容结合,用于敲诈勒索或诈骗。黑恶势力、网络水军可针对特定网民生成不实信息,引导公众对其围攻或诋毁。受害者往往难以在短时间内证伪,导致名誉与心理遭受双重损害,甚至可能引发极端事件。在公共突发事件或敏感议题中,AI虚假内容还易被别有用心者利用操纵舆论,扰乱社会秩序。

  最后,监管难度空前增大,社会治理面临挑战。AI虚假内容快速大规模涌现,跨平台、跨区域流动,传统追责流程难以应对此类高频度产出的谣言。相关部门需投入更多资源监测并处理虚假内容。

  AI技术具有双刃剑特性,社会既要享受其效率红利,也需警惕其对信息生态的破坏。利用AI技术生成虚假内容、混淆视听的行为,正对网络信息生态及社会秩序构成威胁。其潜在危害不仅在于迷惑公众、破坏社会互信,还会加剧舆论极化与社会对立。

  3月14日,国家网信办等多部门印发《人工智能生成合成内容标识办法》,明确人工智能生成合成内容标识主要包括显式标识和隐式标识两种形式,并要求人工智能生成合成内容必须添加标识。

  随着监管部门出台更明晰的法规政策,AI技术导致的舆论传播乱象或将得到有效治理。此外,政府部门、媒体平台、企业与公众仍需提升对AI内容的甄别与防范意识,建立多主体协同机制,强化技术与监管并行的防护体系,只有共同努力,才能让AI技术更好地推动技术发展和产业升级。

  作者系人民网舆情数据中心舆情分析师 王冬


上一条:科技舆论观察——爱奇艺“锁V”遭诟病,商业化策略如何平衡用户体验? 下一条:科技舆论观察——俄“联盟MS-26”载人飞船宇航员返回地球

关闭