作者 | ZeR0
编辑 | 漠影
进入生成式人工智能（或称AIGC）狂飙的时代，造假变得更加轻而易举。
近年来，PS公章、信函、保单、证件照的违法行为已经层出不穷，还有些人唯恐天下不乱地借用P图造谣生事，或者进行敲诈勒索。据江西公安近日披露的案件，一个四人犯罪团伙用“PS”合成不雅照进行敲诈勒索，至被抓时已跨三省共计投递900余封敲诈信，敲诈勒索金额总计1.6亿余元（未遂）。
AI换脸冒充熟人新骗局亦高频出现。今年4月，福州市某科技公司法人代表郭先生10分钟内被人用佯装成好友的AI换脸视频诈骗430万元。无独有偶，5月，安庆市何先生因一段佯装成熟人的9秒AI换脸视频被诈骗245万元。
“有图有真相”已经成为历史，随着AI图像内容安全的警报频繁拉响、图像伪造门槛越来越低，加强AI反制技术研究愈发迫在眉睫。
近日，中国信通院、人工智能及大数据科技企业合合信息等机构联手启动了《文档图像篡改检测标准》编制工作。在上周举行的世界人工智能大会期间，合合信息分享了针对典型图像安全问题的三项重点技术：AI图像篡改检测、生成式图像鉴别、OCR对抗攻击技术。
图像领域的可信AI才刚刚起步。由AI篡改、生成的图像与真实图像有哪些细微差别？如何通过先进AI技术手段进行分辨？可信AI产业化需闯过哪些难关？我们与合合信息智能创新事业部总经理唐琪进行了深入交流。
01.
AI图像篡改检测：
火眼金睛无惧截图，甄别四类截图篡改
合合信息智能创新事业部总经理唐琪告诉智东西，基于多年行业积累，合合信息发现各种形式的截图篡改方式，基本可以归纳为四种类型：复制移动、拼接、擦除、重打印。
复制移动即在原图中“抠”出关键要素再粘贴到另一处；拼接是将不同图像拼接成一张新图像；擦除能够不留痕迹地擦掉一些关键信息，如去除大面积复杂水印；重打印则是在擦除的基础上重新编辑新文档。
截图因为没有图层，背景没有纹路和底色，没有拍照时产生的成像差异、光照差异等信息，检测难度更高。这需要先进的检测技术来大批量发现被篡改/伪造的信息，保障信息真实性，防止欺诈行为的发生。
然而，现有的视觉模型通常难以充分发掘原始图像和篡改图像的细粒度差异特征，因此难以实现令人满意的准确率。
随着图片造假技术的提升和修图软件使用门槛的降低，很多时候，人眼必须进行非常细致地观察，才能发现这些篡改图像的端倪。例如银行等场景每天要审核大量的截图、照片，仅靠人工方式不仅效率低下，因疲惫而出错的概率也更高。相比人类，AI算法能够更高效稳定地检测到一些微小的、像素级的破绽，大幅提升核查效率。
唐琪认为，生成技术与检测技术好比“矛”与“盾”，会不断出现更顶级的生成技术，而科技发展永远是技术和经济性的双重问题，AI图像安全检测技术的行业价值在于能攻破常见的、产业级规模的造假，维护大多数人的权益。
02.
AIGC判别：AI视频换脸骗过身份验证？
多维度特征分辨“虚拟人”
比如在金融行业，有人用AI合成技术对线上资金进行盗刷；在传媒行业，某些图片供给方使用软件自动生成海报等图片，故意隐瞒其来源并售卖给第三方，导致后续出现侵权纠纷。AI生成式图像检测技术则有助于解决这些问题。
这类项目主要有两个难点，一是生成出来的图像场景繁多，不能穷举；二是有些生成图和真实图片的相似度过高，信息真伪判定难度大。
以AI换脸视频为例，过去“AI假脸”的纹理特征破绽较为明显，比如眼睛、牙齿轮廓细节不一致，连续动作实时渲染存在丢帧、不流畅等情况，这些“穿帮”画面仅凭肉眼就能察觉。但随着技术快速演进，生成式AI很快就能优化这些细节问题，生成更加以假乱真的画面。
唐琪告诉智东西，该模型的设计融入了合合信息在真实场景中积累的大量行业经验。输入图片后，模型通过多个空间注意力头来关注空间特征，并使用纹理增强模块放大浅层特征中因为视频连续性特征而形成的一些细微伪影，增强模型对真实人脸和伪造人脸的感知与判断准确度。目前，相关技术也在不断迭代中。
03.
OCR对抗攻击：给文本数据“加密”，
严防隐私信息泄露
OCR对抗攻击技术被用于防止不法分子利用技术手段非法爬取图片上的信息。
在日常生活和工作中，人们经常在网上发送自己相关证件、文件的图片，这些图片包含的个人信息（比如地址、银行卡号）可能会被第三方平台用OCR技术批量截获并泄露。
该技术可在不影响肉眼观看与判断的情况下，对场景文本或者文档内文本进行扰动，对包含中文、英文、数字等关键信息的内容进行“攻击”，防止第三方通过OCR系统读取并保存图像中所有的文字内容，有效降低数据泄露风险，以此达到保护信息的目的。
04.
17年深耕AI研发，
与AI造假斗智的底气何来？
深耕人工智能17年的合合信息，是国内图像内容安全保护的技术及行业专家。
在智能文字识别及商业大数据领域，合合信息行业根基深厚，为全球超过200个国家和地区的上亿用户提供智能文字识别产品及AI服务，坐拥名片全能王、扫描全能王、启信宝等明星C端产品，并向超过30个行业提供B端服务。
从技术积累来看，合合信息长期聚焦于文档智能领域中的前沿技术探索，已获得超百项自主知识产权发明专利。唐琪说，合合信息的护城河包括多年累积的人才、算法、算力以及行业洞见。
其智能文字识别、智能文档处理相关技术已发表于CVPR、AAAI、ACL、ACM MM等国际顶会，已经拿下15项顶级国际AI竞赛的冠军，并接连获得中国信通院的多项高分评级。
评估报告显示，合合信息的智能文字识别产品展现出良好的性能和服务成熟度。以具有较大难度的证件类和票据类性能测试为例，面对旋转、阴影、反光、褶皱、形变等复杂场景，合合信息智能文字识别产品均有较高的识别准确率，字符准确率分别为99.21%和99.59%，字段准确率分别为97.87%和98.42%。
生成式AI的发展面临多重挑战，对可信AIGC提出迫切需求。
中国信通院等4家机构联合发起《AIGC可信倡议》，联合政产学研用，表达了对AIGC和可信AI在科学研究、技术攻关、工程应用、标准测试、伦理安全、国际合作、人才培育等方面的创新探索的决心。中国信通院副院长王志勤也提出倡议：“要加强可信赖的AIGC技术框架、标准体系、评测机制等技术的研究和推广。”
该标准将基于产业现状，围绕“细粒度”视觉差异伪造图像鉴别、生成式图像判别、文档图像完整性保护等焦点议题，凝聚行业共识，以期为行业提供有效指引。
05.
结语：用魔法打败魔法，
用AI技术让图像造假无处遁形
生成式AI的爆发，让“眼见为实”成为过去时。
此前全局性裁剪、调色处理、组合式造假等图像篡改手法已经花样百出，攻防博弈持续焦灼。如今AI制作照“骗”的功力越发炉火纯青，生成虚假图像信息变得更廉价、更快速、更易得，仅靠专业人员来辨别既低效又不可控。
生成式AI正展现出颠覆世界的强大能力，让高效图文创作、视频编辑能力变得触手可及，但这些AI能力必须可控可信，才能更多地为人类带来福祉，发挥科技向善的价值。
从恶意P图敲诈勒索，到换脸视频冒充熟人诈骗，乃至绕过身份验证盗取财产，AI篡改或生成的图像的负面应用可能会破坏互联网秩序，危及个人财产及生命安全，令企业蒙受重大经济损失，并极易引发社会信任危机。
多国政府及企业已经积极行动，以防范潜在的安全风险。不少政府都在加速推进AI监管的相关立法，但考虑到AI尚处于新兴发展阶段，过度“踩刹车”会在一定程度上遏制创新，因此不仅要从政策层面加以约束，还需充分借助先进技术的力量，来给生成式AI构筑安全围栏。
随着AI图像篡改检测、生成式图像鉴别、OCR对抗攻击等技术日臻成熟并深入产业，这些技术将提高批量甄别图像内容风险的效率，保护更多个人及企业免受经济损失，为AI图像应用安全保驾护航。
（本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。）
原标题：《骗过百万人类的AI假图假视频，被这三个技术破解了》