这套规则反复调,稿子还是有股 AI 味。把带规则和不带规则的 AI 放一起比,才发现:规则越多,模型越在表演;而一篇人写的稿子丢进去,它 74% 的句子原样放回。
要理解这次改造,先得知道被改的是什么。
他有一套写作检查规则,用来判断一段文字哪里像 AI 写的,再逐条修。改造前是十二份文件、三万八千字:38 类问题,每类有判据和例子;论文、申报书、公文各有体裁护栏;末尾一道放行检查,过不了不让发。
问题是它改不动。一篇稿子过一遍,AI 味还在;再过一遍,还是那种感觉——话说得很满,每段收在一个金句上,读着像在表演。加规则、调判据、换着法子禁,都压不下去。
于是决定大改。动手之前先做了一件事:把带规则的 AI 和不带规则的 AI 放在一起,看差异到底出在哪。
他跟它说:
「为我设计几个任务:一个是使用我的 Agent 运行,另一个是使用我的 API 调用干净的大模型来运行。我想比较一下它们的语言风格。」
要比较的两边:
难点是变量不止一个。模型可能不同,规矩可能不同,带规矩的那边还能查资料、裸的不能。三个变量混着跑,结果出来也说不清是谁造成的。
| 层 | 实际加载 | 起了什么作用 |
|---|---|---|
| Agent | 通用执行 agent | 写脚本、跑对照、统计 |
| Skill | 没加载 | 没有现成技能可套,全部自建 |
| 知识文件 | 个人状态、自我觉察、身份与声音锚、模型接口接入说明 | 决定「带规矩的」那层设定长什么样;也提供了调用模型的现成做法 |
| 自写脚本 | 4 个 | 跑对照、数句式、跑改写测试、核数据是否丢失 |
它做的第一件事是把问题拆成两个。
问题一(归因):风格差异是那层规矩造成的,还是模型自带的?
问题二(实用):我这套配置和裸模型比,谁的产出更能用?
前者必须同模型、同工具,只差设定;后者允许模型不同。混着做,结论一定站不住。
用户选了归因版、同模型、由它来跑。
我要比较 A 和 B 的差异。 先别动手,回答三件事: 1) 这个比较能回答哪几个不同的问题? 2) 每个问题分别要控制什么变量? 3) 给我 3–5 个任务,要求: - 不依赖外部信息(否则一边能查资料,一边不能,比的是信息不是风格) - 指令里不带风格要求(否则测的是"听不听话") - 覆盖不同长度和体裁 最后告诉我:跑一次大概几步、最可能错在哪。
任务一旦需要查资料,差异就来自「谁查得到」,风格比较当场作废。
| 用户原话 | 结果 | 可学的一招 |
|---|---|---|
| 「P12 的表述非常奇怪,不知道是怎么来的。你帮我好好研究一下。」 | 查出「真正让我……的是」在同一篇出现 3 次;六组对照里,带规矩的那组有 16 处这类句式,裸的只有 5 处 | 觉得「别扭」时先数一数。别扭通常有形状,数出来才好改 |
| 「我感觉裸模型反而显得更自然些。P01 明显好于 P06,P07 明显好于 P12。我说的是作为人类读者的语言感受。」 | 发现自己的评分表(具体感/结论前置/敢判断)恰好奖励了「姿态」,评反了;重写判据 | 评分维度本身也要被检验:它可能在奖励你想删掉的东西 |
| 「我越给他具体的要求,反而会让他变得更加不自然。如果加负面的约束,可能也会变成另一种逼良为娼。」 | 做了四组对照,证明「平实」这个形容词会被翻译成公文腔,只有可自检的判据有效 | 「要什么」和「不要什么」都会变形成配额;给动作,别给目标 |
| 「目前 Humanizer 在整体架构中的逻辑是否合理?它自己这个 Skill 还是需要凝练和瘦身吗?」 | 实测它把一篇人写的稿子 74% 的句子原样放回,随后重构成三层、主文件从 246 行瘦到 158 行 | 工具不好用时,先问它治的是什么病——可能你的病它根本没对症 |
词表法用了很多年,一直没人怀疑它,因为以前确实管用。这一次它全线失效,才逼着换尺子。
用户要的是任务,它先给了一个判断:这两边的差别不止一个变量,混着比,跑完也说不清是谁造成的。于是拆成「归因」和「实用」两问,只做前者。
同模型、同参数、只差一层设定,差异就能归到设定头上。
你可以怎么用:任何人让你「比较两个东西」,先问一句:这个比较想回答哪个问题?不同的问题,要控制的变量完全不一样。
第一版统计数的是「AI 腔词」:值得注意的是、总的来说、不仅……而且、赋能、闭环。两边的差值全部小于 0.3,多数是 0。
换结构指标后,差异出来了。
| 同题「这个研究想法值不值得做」 | 裸的 | 带规矩的 |
|---|---|---|
| 汉字 | 817 | 1,078 |
| 清单行 | 11 | 3.3 |
| 加粗标记 | 14.7 | 10 |
| 自然段 | 6 | 14.7 |
| 有没有下判断 | 没有:「值得做,但要注意……」 | 有:「现在这个问法不值得做」 |
你可以怎么用:一个指标测不出差异,先怀疑指标,别急着下「没差别」的结论。词表测不出,就换段落、换句长、换有没有结论。
第一轮它评的是带规矩的更好:更具体、结论更靠前、更敢下判断。用户是读文字的人,说反了:裸的那两篇明显更自然。
问题在评分表本身:「具体感/结论前置/敢判断」这三项,恰好是表演型写作得分最高的三项。用一把奖励姿态的尺子去量姿态型文本,当然量出高分。
两种写法摆在一起:
带规矩的:真正让我想动手查的,是书里那句「大脑只用了 10%」。
那天下午我翻了几本教材……我盯着那一页看了很久。
裸 的:书上讲,成功者都早起。我坚持了三个月,
成绩没变,上午第一节课全在犯困。
你可以怎么用:让别人评价你的产出时,别只问「好不好」,问「哪里让你觉得假」。
把规则里最核心的三份文件(3.5 万字符)塞给它,让它改同一篇公众号稿。结果如下。
| 版本 | 与原文句重合 | 字符相似度 |
|---|---|---|
| 整套规则 | 74% | 96.7% / 98.0% |
| 四行判据 | 31% | 86.4% |
它不动,是因为那套规则是给 AI 写的文本设计的。这篇是人写的,它一看「这是人的声音」,判断不用动。可这篇的毛病,恰恰是那种表演腔——话说得太满,每段收在金句上。人也会这么写,模型学得更像。
用去 AI 味的工具,治表演性的人味,靶向是错的。
你可以怎么用:工具不好使时,先问它治的是什么病。它可能很称职,只是你的病不在它的科室。
| 材料 | 能核到什么 |
|---|---|
| 36 次对照的原始记录 | 每次输出的字数、耗时、用量,六类任务 × 两组 × 三遍 |
| 四组改写测试 | 形容词版 / 判据版 / 工序版 / 无要求版,同一篇稿的输出对照 |
| 平实判据的机制与实测 | 为什么形容词会失效,四组条件的具体数字 |
| 执行用的判据 | 删句测试、禁清单、学术分支 |
| 重构后的写作规范 | 三层结构、两条路径、主文件从 246 行降到 158 行;之后按写作期与终检期拆成两个技能,剩下九份文件、两万九千字 |
| 真实论文试手 | 前 2,285 字,改后 1,612 字,14 处引用与 2 处脚注全部保留 |
论文那一步改了 29.5% 的字,元话语报幕从 5 处降到 1 处。原始文件可向作者索取。
两边差别不止一个时,先拆问题、再控制变量。否则跑得再认真,也只是把三个原因搅成一杯。
数完是 0,不等于没差异。可能是旧尺子量不了新东西。2026 年的模型已经不说「值得注意的是」了。
「写得平实一点」会被翻译成公文腔;「删掉这句,读者损失什么」每句都能自答。形容词没有落点,判据有。