Estimating the Error of Large Language Models at Pairwise Text Comparison

文章主要内容与创新点总结一、主要内容本文聚焦大型语言模型（LLMs）在文本成对比较任务中的输出误差估计问题，提出了无需真值标签的评估方法，核心围绕以下方面展开：研究背景：LLMs存在幻觉问题导致输出存在事实误差，成对文本比较是评估其输出一致性的理想场景，但存在位置偏差（因比较顺序不同导致误差率差异）和可扩展性差（比较次数随文本数量呈二次增长）两大关键问题。方法设计：定义两种误差场景：一是不考虑比较顺序的均匀误差率（通过交换文本顺序进行两次比较估计）；二是考虑位置偏差的二元误差率（通过文本对重复比较估计）。采用Copeland计数法构建文本排序，通过分析排序得分与理想序列的偏差（∆ₛ），结合∆ₛ-N（文本数量）曲线拟合，实现误差率估计。对比传统带偏Bradley-Terry（BT）模型和交换性得分（Sₙₒₘ），验证所提方法的有效性。实验设置：模型：ChatGPT、Claude、DeepSeek、Gemini、Grok、Qwen六种主流LLMs。文本类型：伪词段落、伪段落、广告标语、短诗、学术摘要（涵盖无意义与有意义文本）。prompt变体：测试文本类型不指定、中文prompt、无系统prompt三种场