公平的“双11”，在喜气洋洋的公告声中，却无法掩盖新问题带来的混乱：不法商人利用人工智能改变并销售改变声音的技术，引发社会不满。 AI算法专家表示，随着大型多模态模型的分化，AI容错技术的门槛逐渐降低，可以通过清晰的图像和一分钟的声音样本快速生成换脸视频。 “AI换脸”触及红线。近日，网信部门发布消息称，“百货超市店”、“娜娜好物联盟”、“全球护肤美容精选”等一批违法违规网络账号因利用人工智能技术杜绝公众人物形象，在直播、短视频等链接中向虚假网友发布营销信息，受到严厉查处。他们涉嫌虚假宣传和网络侵权。目前，超过 8,70已清理相关违法信息0条，查处假冒公众号账号11000余个。新华社北京2025年4月26日电 运营公司将他人创作的短视频作品作为“AI变革”素材模板，提供给用户创作“变革视频”。最终受到处罚，赔偿经济损失和合理的维权费用。这一公告也反映出，今年“双11”期间，AI造假问题尤为突出。不久前，演员文真表示，自己被一个改造直播间的AI给骗了。还有直播间利用AI模仿奥运冠军全红灿的声音来推销当地的鸡蛋。孙颖哈、王楚钦等运动员的声音也被“克隆”卖货。记者从抖音电商了解到，过去每日检查中发现，部分交易者、网红擅自剪辑视频、拼贴文字信息，或利用人工智能或冒充假人进行产品营销，误导消费者，扰乱平台正常交易秩序。其中，三类虚假AI内容恶意营销尤为常见： 1、少数商家利用技术羞辱AI生成虚假产品展示、夸大促销内容，误导消费者购买，造成用户资产损失。 2、利用人工智能生成虚拟人物冒充真实身份，利用专家、名人等虚假人物推销商品，破坏消费者信任，非法变现。 3、在商品详情页、直播间利用人工智能生成的虚假评论、用户体验作品，故意制造虚假口碑，影响消费者理性判断。 “当触碰红线时，平台将抖音电商重申，平台严禁商家和明星利用AI技术伪造虚拟人物或名人（包括军警等特定身份）进行虚假宣传和产品营销。此外，淘宝网还宣布，自即日起，平台将启动为期一个月的专项治理行动，重点打击打击2017年初，黑客“DeepFake”使用美国女演员的脸部，引起广泛争议，这也是AI Deep Fake技术首次公开亮相，如今，AI换脸、变声技术不再是黑客的专利。网络中充斥着大量人工智能合成的虚拟图像和视频，存在巨大的安全风险。 “AI早期的变脸主要是基于GaN（生成对抗网络）。在多模态模型技术时代，AI的变脸转向了自回归模型、扩散模型等更多的生成方案。”蚂蚁集团AI身份智能算法专家刘晶晶表示，尤其是随着facefusion、deepfacelab等开源项目的逐渐成熟，以及大型模型公司的API服务，AI换脸的技术门槛明显降低。即使是普通人也可以在短时间内完成语音和人脸的合成，而无需了解算法原理。他只需要准备数据并按照说明执行脚本即可。 “大多数人工智能宽恕工具都是高度简化和自动化的，并且不需要深度学习p 了解算法原理。 “一般情况下，只需要准备一张清晰的人脸图像或语音样本，花1分钟左右，上传到工具平台并输入必要的文字，几分钟就可以生成逼真的内容。”刘晶晶告诉记者，目前市面上有各种“一键生成”工具，AI换脸等技术已经出现灰色产业应用迹象，需要行业机构持续关注和监管。为了逃避检测，新的AI造假方法可以实现“对手攻击”，即在生成的内容中嵌入人眼难以察觉的噪声，专门用于欺骗某些检测模型，使其判断为“真实”。压缩、添加噪声、调整颜色等后处理，抹去生成痕迹，增加检测难度。此外，AI多模态融合的能力，让AI宽恕不仅能够替代人脸和声音，还能同时生成相应的肢体动作和场景，使得宽恕的内容同样协调一致，难以辨别真伪。建立多级管理体系“AI Forged内容并不完善，目前的技术可能仍会暴露缺陷。”刘晶晶列举了一些典型的漏洞，比如手指数量异常、五官不对称、眼球运动不自然、嘴形与语音内容不匹配等。或者物理光照不均匀，比如人物的影子与光源的方向相反。主体与背景之间的界限也模糊、扭曲，图像模糊、扭曲或色彩错误面部、头发、颈部和背景的轮廓。这些都是普通消费者识别AI换脸等假内容的“秘密”。除了“预识别人眼”之外，“用AI进行AI检测”正在成为当前行业的一大选择。 AI检测可以捕获人眼难以看到的像素级异常和光谱特征，优于人工判断。然而，人工智能检测也面临着通用模型能力不足、易受对手攻击、误报率高、计算成本高、缺乏高质量训练数据等问题。又一个“双十一”即将到来，电商、物流等相关企业都在满负荷运转，应对网购流量高峰。梁晓鹏 摄 针对AI造假技术滥用，我国陆续出台多项管理措施，并逐步建立起一套应对措施s。针对“黑天鹅”级人工智能风险的系统能力。 9月1日起实施的《人工智能生成合成内容标注办法》明确要求，人工智能生成合成的内容必须标注显性标记或隐性标记，这对防止人工智能滥用具有积极作用。同时，“人工安全安全框架”也升级至2.0版本。 相于于1.0版本，新版堂用可以“可代电影、防护失书”原则，确保人工智能技术安全、可靠、可控，严防手机手机于英语更多的，严防是是是是是是是是是电影电影电影。中心研究员王迎春电影，加强对开源模型的管理，意味着未来可以逐步建立模型在开源领域的跟踪机制和责任环节。 future. 致力于实现手机、手机图像网络生态。