AI一本正经地（dì）胡说（shuō）八道（dào） 有（yǒu）种办法可（kě）以（yǐ）识破它

近年（nián）来（lái），生（nián）成式人（rén）工智能（néng）在（zài）文本、图像、音乐等领域大（dà）放异彩。然而（ér），随着生（nián）成式人（rén）工智能（néng）变得越来（lái）越强大（dà），人（rén）们（men）越来（lái）越难以（yǐ）鉴别AI生（nián）成的（de）内容。

近日，Google DeepMind 研究团队在（zài）《自（zì）然》（Nature）上（shàng）发表的（de）封面文章提供了一种文本水印方案，可（kě）以（yǐ）提高 AI 生（nián）成文本的（de）检测精度。

AI 生（nián）成内容检测的（de）必要（yào）性

在（zài）文本、图像和（hé）音乐中（zhōng），AI 生（nián）成的（de）文本是（ shì）最难以（yǐ）检测的（de）。因为（wéi / wèi）现有（yǒu）的（de）图像和（hé）音乐生（nián）成技术尚未像文本生（nián）成技术一样发达，AI 生（nián）成的（de）图像和（hé）音乐往往有（yǒu）某些非自（zì）然的（de）视觉或听觉特征。AI 生（nián）成的（de）内容在（zài）整体上（shàng）效果较好（hao），但具体到（）细节就（jiù）显得不（bù）够自（zì）然。在（zài）图像和（hé）音乐中（zhōng），也（yě）可（kě）以（yǐ）人（rén）工添加人（rén）类难以（yǐ）发现的（de）水印，在（zài）后（hòu）期检测中（zhōng）通过（guò）水印筛选出（chū）AI生（nián）成的（de）作品。

然而（ér）在（zài）文本中（zhōng）难以（yǐ）直接添加人（rén）类不（bù）可（kě）见的（de）水印，这（zhè）是（ shì）因为（wéi / wèi）文本与图像和（hé）音乐不（bù）同，每一个（gè）文字都是（ shì）完全可（kě）见的（de）。同时（shí），可（kě）用于（yú）训练 AI 的（de）文本数据也（yě）远多于（yú）图像和（hé）音乐。在（zài）庞大（dà）的（de）、基于（yú）人（rén）类写作的（de）语料库的（de）训练之（zhī）下（xià），AI 已经非常擅长模拟人（rén）类的（de）表达方式和（hé）语言习惯，甚至能（néng）够调整文本的（de）风格和（hé）语气，这（zhè）使得 AI 生（nián）成的（de）文本难以（yǐ）直接检测。

尽管 AI 生（nián）成的（de）文本与人（rén）类创作的（de）文本难以（yǐ）分辨，但 AI 生（nián）成的（de）内容可（kě）能（néng）带有（yǒu）事（shì）实性的（de）错误，并不（bù）能（néng）保证可（kě）靠性。无法辨别来（lái）源的（de）内容可（kě）能（néng）会（huì）导致虚假信息的（de）传播，也（yě）带来（lái）了学术作弊、版权争议等种种问题。

比如，在（zài）“杭州取消机动车依尾号限行（xíng）”假新闻事（shì）件中（zhōng），网友用 AI 技术生（nián）成的（de）“假新闻”行（xíng）文严谨、语气措辞得当，也（yě）基本符合官方通报的（de）格式，导致了错误信息大（dà）规模传播。美国（guó）科技新闻网站 CNET 在（zài）三个（gè）月之（zhī）内上（shàng）线了 七0 多篇用 AI 技术生（nián）成的（de）新闻报道（dào），却被发现其中（zhōng）存在（zài）大（dà）量基础性错误，包括计算错误、金融概念误解等，不（bù）得不（bù）暂时（shí）叫停AI项目重新审核。

为（wéi / wèi）了避免 AI 技术的（de）滥用，我（wǒ）们（men）需要（yào）一种方法辨别文本是（ shì）否由 AI 生（nián）成。

主流检测方法：事（shì）前与事（shì）后（hòu）检测

检测 AI 生（nián）成的（de）文本是（ shì）一个（gè）分类问题，我（wǒ）们（men）的（de）主要（yào）目标是（ shì）区分一个（gè）文本片段是（ shì）由 AI 生（nián）成的（de）还是（ shì）由人（rén）类创作的（de）。通常一个（gè）文本检测器对（duì）于（yú）一个（gè）给定的（de）文本片段会（huì）给出（chū）一个（gè）评分，当这（zhè）个（gè）评分超过（guò）阈值时（shí），这（zhè）个（gè）片段被认为（wéi / wèi）是（ shì） AI 生（nián）成的（de），反之（zhī）则是（ shì）人（rén）类创作的（de）。

文本检测框架（图片来（lái）源：根据参考文献 [一] 翻译）

现有（yǒu）的（de）主流检测方法可（kě）以（yǐ）分为（wéi / wèi）两大（dà）类：事（shì）前检测和（hé）事（shì）后（hòu）检测。事（shì）前检测可（kě）以（yǐ）进一步分为（wéi / wèi）基于（yú）水印的（de）检测和（hé）基于（yú）检索的（de）检测。事（shì）后（hòu）检测可（kě）以（yǐ）分为（wéi / wèi）基于（yú）零样本学习的（de）检测和（hé）基于（yú）训练的（de）检测。

主流检测方法分类（图片来（lái）源：根据参考文献 [一] 翻译）

一、事（shì）前检测

基于（yú）水印的（de）检测是（ shì）指在（zài） AI 生（nián）成的（de）文本中（zhōng）隐藏某些信息以（yǐ）便后（hòu）续检测。但由于（yú）文本的（de）离散性，在（zài）文本中（zhōng）添加水印比在（zài）图像和（hé）音乐中（zhōng）添加水印困难很多。常用的（de）方法是（ shì）让 AI 生（nián）成的（de）文本使用特定的（de）语言风格或者偏向性地（dì）使用某些特定的（de）词汇，但这（zhè）样可（kě）能（néng）会（huì）降低 AI 生（nián）成文本的（de）质量。

基于（yú）检索的（de）方法是（ shì）指 AI 服务的（de）提供者将用户通过（guò） AI 生（nián）成的（de）文本保存在（zài）数据库中（zhōng）。当需要（yào）检测目标文本是（ shì）否由 AI 生（nián）成时（shí），将目标文本与数据库中（zhōng）的（de）文本进行（xíng）匹配，如果相似度较高，则很可（kě）能（néng）是（ shì） AI 生（nián）成的（de）。但这（zhè）种方法需要（yào）保存用户数据，可（kě）能（néng）带来（lái）隐私泄露的（de）问题。

二、事（shì）后（hòu）检测

基于（yú）零样本学习的（de）检测是（ shì）指不（bù）需要（yào）进行（xíng）任何的（de）训练，仅根据 AI 生（nián）成文本的（de）特点来（lái）检测一段文本是（ shì）否是（ shì） AI 生（nián）成的（de）。通常 AI 生（nián）成的（de）文本倾向于（yú）使用常见的（de）词汇，句子（zǐ）的（de）长度和（hé）结构也（yě）更加统一。而（ér）人（rén）类创作的（de）文本则显得更加随心所欲，每一句的（de）水平也（yě）参差不（bù）齐。

与人（rén）类相比，AI 在（zài）记忆细节上（shàng）能（néng）力较强而（ér）在（zài）逻辑推理上（shàng）能（néng）力较弱。利用这（zhè）些特点可（kě）以（yǐ）在（zài）一定程度上（shàng）区分 AI 生（nián）成的（de）文本和（hé）人（rén）类创作的（de）文本。基于（yú）训练的（de）检测是（ shì）指使用人（rén）类创作的（de）文本和（hé） AI 生（nián）成的（de）文本构建一个（gè）数据集，用这（zhè）个（gè）数据集训练一个（gè）分类器来（lái）识别 AI 生（nián）成的（de）文本。

但这（zhè）需要（yào）收集足够的（de）数据用于（yú）训练，并且随着 AI 能（néng）力的（de）进步，这（zhè）样的（de）区分也（yě）变得越来（lái）越困难。可（kě）以（yǐ）看到（），事（shì）后（hòu）检测比事（shì）前检测要（yào）困难许多。为（wéi / wèi）了高精度地（dì）筛选出（chū） AI 生（nián）成的（de）文本，在（zài）事（shì）前 AI 生（nián）成文本时（shí）就（jiù）添加水印是（ shì）一个（gè）很好（hao）的（de）解决方案。

Google DeepMind 的（de）突破：SynthID-Text 水印技术

Google DeepMind 研究团队提出（chū）了一种新的（de）水印生（nián）成方案，称为（wéi / wèi） SynthID-Text。它基于（yú）之（zhī）前的（de）水印生（nián）成组件，但使用了一种新的（de）“锦标赛采样”方法。SynthID-Text 可（kě）以（yǐ）非扭曲（保留文本质量）或者扭曲（以（yǐ）牺牲文本质量为（wéi / wèi）代价提升水印的（de）可（kě）检测性）地（dì）添加水印。

在（zài）扭曲和（hé）非扭曲设置下（xià），与现有（yǒu）的（de）最佳方法相比，SynthID-Text 都提升了水印的（de）检出（chū）率。

水印生（nián）成框架（图片来（lái）源：根据参考文献 [二] 翻译）

上（shàng）图中（zhōng）展示了大（dà）语言模型生（nián）成文本的（de）原理以（yǐ）及之（zhī）前水印生（nián）成的（de）框架。大（dà）语言模型的（de）文本生（nián）成是（ shì）基于（yú）上（shàng）下（xià）文的（de），它会（huì）根据输入的（de）文本序列计算下（xià）一个（gè）词汇的（de）分布，然后（hòu）从这（zhè）个（gè）分布中（zhōng）抽样出（chū）下（xià）一个（gè）词汇。

一个（gè）生（nián）成式的（de）水印方案通常包含三个（gè）部分：一个（gè）随机数生（nián）成器、一个（gè）采样算法以（yǐ）及一个（gè）评分函数。水印生（nián）成的（de）过（guò）程是（ shì）：首先使用随机数生（nián）成器根据前面的（de）文本以（yǐ）及水印键生（nián）成一个（gè）随机数，然后（hòu）采样算法利用这（zhè）个（gè）随机数从词汇的（de）分布中（zhōng）抽样出（chū）下（xià）一个（gè）词汇。

给出（chū）一段文本以（yǐ）及一个（gè）水印键，评分函数提供一个（gè）分数来（lái）量化当前文本中（zhōng）含有（yǒu）水印的（de）可（kě）能（néng）性，当分数超过（guò）一个（gè）阈值时（shí）就（jiù）认为（wéi / wèi）这（zhè）段文本中（zhōng）含有（yǒu）水印。

锦标赛采样（图片来（lái）源：根据参考文献 [二] 翻译）

SynthID-Text 提出（chū）了一种新的（de）“锦标赛采样”方法，上（shàng）图是（ shì）锦标赛采样方法的（de）一个（gè）例子（zǐ）。当向模型输入“...我（wǒ）最喜欢的（de）热带水果是（ shì）”时（shí），模型计算出（chū）下（xià）一个（gè）词汇的（de）分布，其中（zhōng）“芒果”的（de）概率是（ shì） 0.五，“荔枝”的（de）概率是（ shì） 0.三，“木瓜”的（de）概率是（ shì） 0.一五，“榴莲”的（de）概率是（ shì） 0.0五。在（zài）不（bù）加水印的（de）正常生（nián）成中（zhōng），模型会（huì）按这（zhè）个（gè）概率直接采样出（chū）下（xià）一个（gè）词汇。

在（zài）锦标赛采样中（zhōng），模型先根据随机数种子（zǐ）生（nián）成三个（gè）随机的（de）水印函数，然后（hòu）再从词汇的（de）分布中（zhōng）采样出（chū）八个（gè）词汇，将这（zhè）八个（gè）词汇两两组合后（hòu）进行（xíng）竞赛，在（zài）每一轮竞赛中（zhōng），由一个（gè）水印函数决定每一对（duì）组合中（zhōng）的（de）胜出（chū）者。经过（guò）三轮竞赛后（hòu），最终的（de）胜出（chū）者就（jiù）是（ shì）模型的（de）输出（chū）结果：“芒果”。

在（zài）锦标赛采样中（zhōng），词汇是（ shì）根据水印函数的（de）偏好（hao）采样得出（chū）的（de）。因此添加水印的（de）文本会（huì）在（zài）水印函数上（shàng）有（yǒu）更高的（de）评分。在（zài）检测时（shí）只需要（yào）评估每个（gè）词汇在（zài）对（duì）应的（de）水印函数下（xià）的（de）评分，再将评分加和（hé）就（jiù）可（kě）以（yǐ）得到（）这（zhè）段文本包含水印的（de）可（kě）能（néng）性。

水印的（de）添加是（ shì）通过（guò）改变采样方法实现的（de），它会（huì）改变模型输出（chū）下（xià）一个（gè）词汇的（de）分布，这（zhè）看起来（lái）不（bù）可（kě）避免地（dì）会（huì）影响生（nián）成文本的（de）质量。

然而（ér），由于（yú）采样方法中（zhōng）使用了随机数种子（zǐ），尽管在（zài）某一随机数种子（zǐ）下（xià）词汇的（de）分布会（huì）被改变，但在（zài）对（duì）所有（yǒu）随机数种子（zǐ）进行（xíng）平均后（hòu）可（kě）以（yǐ）得到（）和（hé）原始分布相同的（de）结果。

SynthID-Text  可（kě）以（yǐ）在（zài）适当的（de）配置下（xià）避免影响词汇的（de）分布从而（ér）保证文本的（de）质量，也（yě）可（kě）以（yǐ）以（yǐ）损失一部分质量为（wéi / wèi）代价提高水印的（de）检出（chū）概率。

SynthID-Text 方法在（zài） Google DeepMind 推出（chū）的（de） Gemini 人（rén）工智能（néng）模型上（shàng）经过（guò）了两千万次用户测试。测试结果表明 SynthID-Text 在（zài）添加水印的（de）同时（shí）并不（bù）会（huì）降低文本的（de）质量。同时（shí），SynthID-Text 不（bù）会（huì）产生（nián）太多的（de）时（shí）间和（hé）计算开销，可（kě）以（yǐ）被大（dà）规模地（dì）应用于（yú）生（nián）产实践之（zhī）中（zhōng）。

结语

事（shì）后（hòu）检测文本是（ shì）否由 AI 生（nián）成是（ shì）非常困难的（de）。随着 AI 能（néng）力的（de）增强，事（shì）后（hòu）检测会（huì）变得越来（lái）越困难，检测和（hé）反检测将会（huì）是（ shì）无止境的（de）技术竞赛。水印方法提供了一种可（kě）能（néng）的（de）解决方案，但这（zhè）需要（yào）大（dà）语言模型的（de）提供者在（zài）生（nián）成时（shí）就（jiù）预先加入水印。如果用户使用的（de）模型没有（yǒu）主动加入水印，就（jiù）难以（yǐ）在（zài）事（shì）后（hòu）进行（xíng）检测。

此外，用户还可（kě）以（yǐ）使用开源模型，或者对（duì）添加了水印的（de）文本进行（xíng）二次编辑来（lái）逃脱检测。这（zhè）些问题都有（yǒu）待进一步解决。

未来（lái），随着生（nián）成式人（rén）工智能（néng）的（de）普及，如何检测 AI 生（nián）成的（de）内容会（huì）变得越来（lái）越重要（yào）。SynthID-Text 证明了水印技术在（zài）文本生（nián）成中（zhōng）大（dà）规模应用的（de）可（kě）能（néng）性，但水印技术面临的（de）困难也（yě）说（shuō）明检测并不（bù）只是（ shì）一个（gè）技术问题。

解决这（zhè）个（gè）问题还需要（yào）各方共同努力，形成相关的（de）行（xíng）业标准以（yǐ）及法律法规，从而（ér）推动AI走在（zài）为（wéi / wèi）人（rén）类服务的（de）正轨之（zhī）上（shàng）。