Aletheias Quest 是我折腾过的一个 AI 应用项目目标很直白用大模型和多媒体分析做一个“谎言检测器”。一轮完整回顾做下来我的核心判断是这个方向的难点根本不在模型选型也不在算力而在数据、评估和伦理边界。下面这部分内容写给正在做 AI 应用开发、想尝试多模态分类、或者准备把大模型接进访谈分析、内容审核、客服质检这类场景的人。我会按实际推进顺序展开先做文本再做语音和表情最后聊评估和边界。如果你期待的是“准确率 95% 的测谎神器”可以现在关掉页面。这个方向上不存在那样的产品硬做一个出来的效果大概率接近抛硬币。1. 先定义清楚谎言检测器到底在检测什么1.1 谎言不是一个可以直接标注的变量很多项目一开始就犯同一个错误把“说谎”当做一个普通分类标签给数据打 0/1然后丢进模型训练。问题在于“说谎”是一个潜在状态没有直接可见的信号。我们能拿到的只有文本、语音、面部动作、生理反应这些外在观测值。说谎的人可能心跳加速被冤枉的人也会心跳加速编造的故事可能细节丰富真实经历也可能被讲得干巴巴。所以模型学的并不是“是否说谎”而是“这些特征与训练样本里说谎标签的相关性”。这个区别决定了整个系统的输出形式。正确的做法是借鉴司法心理学里已有的方法比如真实性监控和标准内容分析把陈述拆成“是否有感官细节”“是否有时间空间信息”“是否逻辑一致”“是否有回避”等维度再基于维度给出结论。这比直接输出一个“liar”要科学得多也更容易向用户解释。1.2 不同模态能提供什么信号我一开始也想直接上多模态后来发现每个模态的数据管线、出错方式和评估标准都不一样必须拆开设计。下面是我整理过的一张对比表基本决定了我后面每一步的优先级模态获取难度可用特征可靠性落地成本文本低内容矛盾、细节量、回避话术、时态一致性中低语音中停顿长度、语速、音高、能量中低中面部/视频高动作单元、注视方向、头部姿态低到中高生理信号很高皮电、心率、瞳孔中仅限实验室很高这张表的核心判断是不同模态的可靠性差异很大。尤其要提醒一点很多商用工具天天宣传微表情识别但微表情在受控实验里都不稳定放到真实摄像头、弱光、遮挡、低帧率的条件下基本当不了决策依据。所以我在项目里把视频和生理信号都放在“实验室可选”的位置产品主线始终是文本。2. 踩得最深的一个坑没有标准答案就没有训练目标2.1 真实谎言数据为什么难拿做谎言检测最核心的原料是“确定某人说了谎”的标注数据。但真实世界里谎言的确定非常困难。法庭宣判一个人败诉不代表他说谎伴侣承认出轨但之前的否认才是谎言而这个“否认”通常没有录音。公开研究里常用的数据来源大致有几种模拟犯罪场景让被试假装偷东西再接受询问、招募被试讲真话和编造自述、法庭或新闻发布会的公开陈述。每种数据都有明显的分布偏差模拟犯罪的谎言风险低被试没有真实压力法庭陈述又混杂了法律策略和律师指导。我自己做过一次粗糙的样本统计数量不大只用来判断方向公开可用的谎言文本数据绝大多数属于“低风险、被指示、表演性质”的谎言。用这种数据训练出来的模型学到的是“人们在表演说谎时的文本模式”而不是“人在真实压力下试图欺骗时的模式”。这两者的特征分布可能完全不同。2.2 低风险表演谎言会把模型带偏这个问题在学术里叫标签构造偏差。你让被试“请编一个假期故事我们会通过摄像头看你”被试知道这是实验没有真实后果撒谎时的动机、情绪、策略都不一样。更要命的是很多数据集的标签只有“真/假”没有细化到“这句话内部的哪个事实是假的”。结果模型只能学到整体分布差异一旦输入换一个场景准确率立刻掉下来。所以后来我不再追求“真实大谎言数据集”那个东西短期拿不到。我换了一个思路不检测“这个人是否在撒谎”而是检测“这句话是否与可验证事实矛盾”。这是一个窄得多的任务但它有明确的监督信号比如已知事实库、时间线、合同条款、客服工单记录。有了这些我就可以标注“矛盾/一致/无法验证”三类模型的目标变得可定义评估也变得可重复。2.3 我建议的最小数据验证方案给同样被困在数据问题里的人一个最小方案把任务限定在一个具体场景例如“客服对话中用户对订单状态的描述是否与系统记录一致”。准备 100 到 200 条对话样本只标三类一致、矛盾、无法验证。先不微调直接用大模型做零样本提示看基线表现。人工抽查 20 条错误样本找到模型最常见的失败模式再决定是改提示词、加检索还是微调。这个方案的核心是“收窄任务”。不要在第一个版本就做通用测谎通用测谎没有监督信号做出来只能靠感觉。注意先跑 20 条小样本再上全量主要看输出格式是否稳定而不是看准确率。3. 第一版原型从文本和结构化输出开始3.1 为什么先做文本原因有三条。第一文本是最容易标准化的输入不需要考虑摄像头、麦克风、采样率、光照第二大模型对文本矛盾、回避、含糊的表达非常敏感零样本能力已经够做一个不错的基线第三实际场景里文本最通用无论是聊天记录、访谈转写还是客服工单都是文本。语音和视频想好了可以往管道里加但不会影响核心流程。顺带说一个观察现在检测“AI 生成文本”已经不算难因为生成器会留下统计痕迹但检测人类谎言几乎没有任何稳定的“谎言痕迹”。文本里能用的更多是“事实核验”和“陈述逻辑”而不是夸大语言特征的作用。3.2 从“判断真假”改成“提取可验证声明”第一版提示词我写得非常简单直接问“这个人是不是在撒谎”。后来发现输出很不稳定同一个问题换个说法答案就变。原因是大模型对“撒谎”这种抽象判断没有统一标准它会在“可能是”“基本是”“不是”之间随机漂移。我改成让模型先做结构化提取不给整体判断。具体来说从每一段回答里抽取出若干“可验证声明”每个声明对应一个事实状态最后再汇总。这样模型的任务从“主观定案”变成了“抽出证据”哪一步错了都能溯源。3.3 提示词模板参考下面是我后来一直在用的提示词结构你可以复制改写成自己的场景。这里刻意做了泛化没有绑定任何具体业务你是一位陈述分析助手。你的任务不是判断对方是否说谎而是对一段陈述做结构化拆解。 请完成以下步骤 1. 提取陈述中所有“可验证的事实声明”例如时间、地点、金额、动作、状态、因果推断。 2. 对每个声明结合给定的背景事实或知识基线给出状态 - supported与背景事实一致 - refuted与背景事实矛盾 - unverifiable无法从背景事实或常识判断 3. 单独标注“回避”现象例如直接跳过问题、使用过于宽泛的表述、转移话题。 4. 输出 JSON不要输出额外解释。 请确保每个声明的状态都有依据宁可给 unverifiable也不要强行判断。这个提示词的关键点有三个把“整体真假”换成“逐条声明”给三种状态而不是两种明确要求宁可无法验证也不要强行判断。这样的输出才能被下游规则引擎和人工复核使用。3.4 输出怎么用置信度、第三状态和阈值模型给出 JSON 之后我在业务层加了一层规则而不是直接信任模型的 token 概率。具体做法把温度设为 0同一输入跑 3 到 5 次观察关键字段是否稳定。自洽性比单次输出重要。当出现 refuted 声明时才算“高风险信号”只有 unverifiable 不算只能算“需要更多信息”。最终展示给用户的不可能是“ta 在说谎”而是“这些声明与已知事实矛盾……”。是否升级为人工复核由业务规则决定。这样做的理由是大模型的置信度不可靠但它提取出的具体声明可以被人快速核对。系统越往后做越像一个“证据整理器”而不是测谎仪。4. 第二版探索语音、面部和生理信号哪些能用4.1 语音停顿和音高只能做辅助信号我第二版加了语音特征用通用的音频特征提取工具处理访谈录音得到停顿时长、语速、音高变化和能量包络再和文本特征拼在一起。初步结论是语音信号在“问答轮次”粒度上能提供一点辅助信息但在“单句”粒度上噪声非常大。一个人语速突然变慢可能是因为紧张也可能是因为天气冷、信号差、或者刚才没听清问题。语音情绪识别在干净数据上表现尚可一旦录音里混着背景音乐、多人说话、电话压缩失真特征就乱了。另外一个现实问题是疲劳和个体差异。有人撒谎时音高上升有人撒谎时反而压低声线同一套规则换个人就可能失效。所以我把语音的输出质量定成“可以支持优先级排序不能单独定案”。4.2 面部动作和“微表情”没那么可靠面部这一块我也试过。用开源工具提取动作单元和注视方向然后看哪些动作单元在真假陈述里出现频率更高。结果比较让人清醒在有遮挡、光线不均、头部转动的视频里动作单元的提取本身就会大规模出错最典型的是把皱眉识别成挑眉、把眯眼识别成闭眼。微表情那条路更麻烦真正的微表情持续只有几帧普通视频的帧率和压缩率根本捕捉不到。如果一定要用视频信息我建议把它当作“行为描述”而不是“说谎指标”。比如记录这段回答里注视偏移了几次、双手有没有频繁触碰面部这些描述可以提高人工复核的效率但不能自动给人下结论。4.3 生理信号实验室里的效果工程场景难复制最后是皮电、心率、瞳孔这类生理信号。研究文献里它们和“唤醒度”确实相关但唤醒度不等于欺骗。一个被冤枉的申请者在被追问时心跳也可以很高。而且生理信号需要穿戴设备或专用摄像头需要静息基线需要控制环境噪音这些条件在真实业务里几乎不具备。我做了一版传感器原型后放弃了线上化只在受控的访谈实验里继续收集数据。综合看多模态的正确打开方式不是我一开始想的那种“所有信号一起上”而是“文本做主判决语音和视频做排序生理信号做实验室研究”。每加一个模态都要先回答一个问题这个信号的噪声会不会把原本就模糊的判断变得更模糊5. 评估是整个项目的分水岭5.1 准确率在两分类任务里最容易骗人第一个模型我报过 85% 的准确率后来发现没意义。因为评估集里真话样本占了大头模型只要一直输出“真话”准确率就能到 80% 以上。真正要看的是混淆矩阵哪些真的谎言被漏掉了哪些真话被误判成谎言。在谎言检测这种场景里误判真话的代价往往比漏掉谎言更大所以精确率通常比召回率更优先至少在“避免冤枉人”的方向上是这样。如果你的业务目标是“不冤枉人”就应该把精确率做高允许召回率低一点如果目标是“不放过可疑点”才需要把召回率提上去但这样用户会收到大量虚假警报。没有先想清楚业务代价就直接调模型等于闭着眼睛开车。5.2 低基率下的数学一个必须知道的例子这里给一个简单的贝叶斯计算不涉及具体模型只说明问题。假设场景里有 10% 的人真的在撒谎模型对谎言的检出率有 90%对真话的正确率也有 90%也就是误报率 10%。那么当模型说“这个人在撒谎”时实际为假的概率是多少# 假设 1000 人 liars 100 # 10% 真的在撒谎 truth_tellers 900 # 90% 说的是真话 # 模型表现 detected_liars liars * 0.9 # 90 个被正确抓住 false_alarms truth_tellers * 0.1 # 90 个真话被误判 # 模型报警后真的在撒谎的概率 precision detected_liars / (detected_liars false_alarms) print(precision) # 0.5看到没有即使一个模型看起来已经很不错报警里也有一半是冤枉人的。低基率场景下的分类器就是这种数学现实。所以工程上不能只看建模指标还要看业务阈值怎么设以及报警后的复核流程怎么走。这个例子说明在低基率场景里模型本身的精度远没有“阈值 复核流程”重要。5.3 校准和人工复核我的做法是给系统加了三档输出无法判断、需要更多信息、存在矛盾。只有最后一种才允许触发“优先级高”的标记而且所有自动标记都必须落到人工复核界面。复核人员能看到原始陈述、被提取的声明、以及判定状态的依据。同时我把每次提示词输入和模型输出都存到日志里定期抽一批日志做校准看模型说“refuted”的时候人工复核同意的比例是多少。这个比例才是系统真正该追求的核心指标而不是训练集上的准确率。6. 伦理边界这个系统不能变成一把失控的尺子6.1 错误成本是不对称的谎言检测最危险的地方是错误成本不对称。如果系统把一句真话判成谎言轻则让一个人失去面试机会重则让一个人被长期怀疑反过来系统漏掉一句谎言虽然也可能造成损失但至少不会直接伤害一个无辜的人。所以在设计上我坚持“误报优先避免”。这不是技术决策而是产品决策。任何把“有风险”说成“确定在撒谎”的界面都是把判断责任推给了模型。如果这个系统用在招聘、客服质检、投诉处理这些场景还要额外考虑被分析的人知不知道自己的语音、文本正在被分析。很多“AI 测谎”宣传都没提这个前提这是有问题的。6.2 隐私、同意和记录