AMO-Bench: Large Language Models Still Struggle in High School Math Competitions

一、文章主要内容总结本文针对现有高中数学竞赛基准（如AIME24/25）因大语言模型（LLMs）性能饱和、存在数据记忆导致评估失效的问题，提出了一个高阶数学推理基准AMO-Bench。该基准包含50道人工设计的原创题目，难度达到或超过国际数学奥林匹克（IMO）水平，仅要求最终答案而非完整证明，支持自动化评分。通过对26个主流LLM的测试发现，即使表现最佳的模型（GPT-5-Thinking (High)）准确率也仅为52.4%，多数模型得分低于40%，凸显当前LLMs在复杂数学推理上的不足。进一步分析表明，模型性能随测试时计算量（输出 tokens 数量）增加呈近线性增长趋势，且顶尖模型的pass@32率超70%，显示出通过技术优化提升的巨大潜力。AMO-Bench已开源（amo-bench.github.io），旨在推动LLM推理能力的进一步研究。二、文章创新点超高难度与原创性保障：所有50道题目经专家交叉验证，难度不低于IMO，且为全新设计，通过10-gram匹配和网络搜索确保无相似题，避免数据记忆导致的性能虚高。高效自动化评分：摒弃传统证明类题目的人工评分模式，仅要求最终答案，针对数值、集合、变量表达式、描述性四种答案类型，分别采用解析器-based和LLM-based评分方法，准确率达99.2%。丰富标注与可扩展性：每道题目附带专家编写的详细推理路径，支持提示工程、误差分析等后续研究，还提供仅含39道解析器评分题目的AMO-Bench-P子集，便于快速复现。