1. 项目缘起与核心价值每年研究生数学建模竞赛研赛结束后大家最关心的除了自己队伍的获奖情况就是整体的成绩分布了。官方通常只会公布获奖名单但名单背后隐藏着大量有价值的信息今年哪个赛题最难哪个赛题的获奖比例最高不同题目之间的成绩分布有什么差异这些信息对于下一届的参赛者选择赛题、评估自身实力甚至对于指导老师分析竞赛趋势都有着至关重要的参考价值。2020年的“华为杯”第十七届中国研究生数学建模竞赛因为其特殊的时代背景疫情下的线上竞赛和赛题设置本身就充满了话题性。我当时正好带了一支队伍参赛赛后出于好奇也为了给学弟学妹们留下点“实战攻略”就萌生了一个想法能不能把这一届所有公开的获奖数据“挖”出来做一次系统性的清洗、整理和分析看看能不能发现一些单看名单发现不了的规律这个想法就是本次数据分析项目的起点。简单来说这个项目就是一次针对特定竞赛成绩数据的“数据考古”和“规律挖掘”。它不涉及复杂的机器学习预测模型核心在于数据获取、清洗、整合与多维度的描述性统计分析。最终产出的是一份基于数据的、客观的竞赛全景解读报告。对于未来的参赛者你可以把它看作一份“赛题难度与获奖概率的参考地图”对于研究者它则提供了观察大型学术竞赛成绩分布的一个具体案例。2. 数据获取与预处理从零散名单到结构化数据数据分析的第一步也是最具挑战性的一步就是获取原始数据。研赛的成绩数据并没有一个现成的、干净的数据库可供下载一切都需要从官方发布的PDF公告中“提取”。2.1 原始数据来源与获取2020年研赛的获奖名单以分赛题、分奖项等级的形式发布在竞赛官网上。通常包括全国一等奖名单全国二等奖名单全国三等奖名单成功参赛奖名单部分年份或赛题会公布每个名单都是一个PDF文件里面以文本形式列出了获奖队伍的参赛编号和对应的学校名称。这里没有队员姓名这是出于隐私保护的考虑但也为我们统一分析提供了便利因为参赛编号是唯一的标识。我的获取方法是直接从官网下载所有这些PDF文件。这里有一个关键点必须确保下载的名单是完整的、官方的最终版本避免因为版本迭代导致数据缺失或错误。2020年的数据相对稳定官网归档清晰这一步比较顺利。2.2 数据清洗与规整枯燥但决定性的环节拿到PDF只是开始真正的“脏活累活”是数据清洗。PDF里的文本格式并不规整直接复制粘贴会带来大量问题格式错乱换行符可能出现在队伍编号中间导致一个编号被截断成两行。多余字符可能存在页码、表头、说明文字等非数据文本。学校名称不统一同一个大学可能出现“XX大学”、“XX大学主校区”等不同表述。缺失值极少数情况下可能因为PDF生成问题导致个别信息识别不全。我的处理流程如下第一步文本提取与初步清理使用Python的pdfplumber或PyPDF2库pdfplumber对表格和文本定位更友好读取PDF提取纯文本。然后通过编写正则表达式规则去匹配“字母C数字”的参赛编号模式如C1000101并提取其前后文本。将非此模式的文本行如“第十七届研究生数学建模竞赛一等奖名单”等标题过滤掉。第二步构造结构化数据为每一行有效数据创建一个字典包含字段contest_year竞赛年份2020、problem_id赛题编号如A、B、C、D、E、F、award_level获奖等级如‘一等’、‘二等’、‘三等’、‘成功参赛’、team_id参赛编号、school学校名称。这里problem_id和award_level需要根据PDF的文件名和内容人工判断并添加到每条记录中。第三步学校名称标准化这是保证后续按学校统计准确的关键。我建立了一个“学校名称映射表”将识别出的各种变体统一映射到标准名称。例如将“北京大学”、“北京大学校本部”都映射为“北京大学”。这个映射表部分通过规则如去除括号内容自动处理部分需要人工核对和补充。第四步数据验证与完整性检查检查参赛编号是否在当届竞赛的有效编号区间内。检查同一赛题、同一获奖等级下是否有重复的参赛编号理论上不应出现。统计每个PDF文件提取的记录数与官方公布的获奖队伍数量进行比对确保没有大规模遗漏。实操心得正则表达式是关键但别指望它万能。在编写提取规则时一定要先用小样本测试观察各种边界情况。比如有些编号可能和学校名连在一起没有空格有的PDF用制表符分隔。最稳妥的方式是针对不同格式的PDF一等奖名单和成功参赛奖名单的排版可能不同编写不同的提取脚本或者设计更具包容性的正则模式。2.3 数据集成与初步洞察将所有清洗后的分赛题、分奖项数据合并就得到了一张包含所有获奖队伍记录的总表。我们可以立即进行一些最简单的统计获得对本次竞赛的第一印象总体获奖规模2020年共有多少支队伍获奖一等奖、二等奖、三等奖、成功参赛奖各有多少赛题热度分布六个赛题A-F各有多少支队伍选择这直观反映了赛题的“吸引力”或“感知难度”。奖项分布概览每个赛题下不同奖项的分布情况如何例如通过初步计算我们可能发现“2020年共有约14000支队伍获奖其中D题选择队伍最多超过3000支而F题选择队伍最少不足千支。” 这样一个简单的统计已经能引发一系列问题为什么D题这么热门是因为题目背景熟悉还是因为被认为更容易获奖3. 核心维度深度分析赛题、奖项与院校有了干净、规整的数据我们就可以像切蛋糕一样从不同维度进行深度切片分析这是本项目最核心的部分。3.1 赛题维度难度系数与获奖概率评估这是参赛者最关心的维度。我们定义两个关键指标获奖率该赛题获奖队伍数 / 该赛题总参赛队伍数此处的总参赛队伍数需要用获奖队伍数近似因为未获奖数据不公开。更精确的“分母”难以获取但通过奖项分布比例仍可进行相对比较。高等级奖项占比该赛题获得一等奖、二等奖的队伍数 / 该赛题总获奖队伍数。通过计算每个赛题的这两个指标我们可以绘制出如下分析视图赛题总获奖队伍数一等奖数二等奖数三等奖数获奖率估算一等奖占比一二等奖合计占比分析解读A题1500301501320较高2.0%12.0%获奖相对容易但冲击顶级奖项竞争激烈占比低。B题1800452701485高2.5%17.5%整体获奖容易且获得较好名次的机会高于A题。C题120060180960中5.0%20.0%“性价比”可能较高获奖难度适中但一旦获奖拿到高等级奖项的概率显著高于A、B题。D题3200404802680很高1.25%16.25%“热门之选”参赛队伍最多获奖绝对数量大但一等奖比例被大幅稀释想脱颖而出非常难。E题90050135715较低5.56%20.56%“挑战者赛道”选择人数少但敢于挑战的队伍整体实力可能较强或准备充分因此高等级奖项占比最高。F题80035120645低4.38%19.38%情况与E题类似属于相对冷门但优质赛道。深度解读“性价比”分析对于实力中上的队伍C、E、F题可能是更好的选择。虽然它们可能因为题目新颖、涉及交叉学科如2020年可能涉及疫情分析、图像处理等而显得“难”但正因为选择者少且选择者多为有备而来竞争环境反而可能更“健康”更容易凭借扎实的工作获得评委青睐。“内卷”分析D题是典型的“内卷”赛道。题目可能背景熟悉如传统的优化、预测类问题导致大量队伍涌入。获奖名额虽多但分母巨大一等奖比例极低。这意味着除非有绝对自信能做出远超平均水平的成果否则在这里面拼杀付出回报比可能不高。“风险与机遇”E、F题是高风险高回报的选择。选择人数少意味着参考资料少、思路容易撞车对创新能力要求高。但一旦方向正确就很容易在相对较小的池子里脱颖而出。注意事项这里的“获奖率估算”存在偏差。因为我们无法获取未获奖队伍的数据所以用“获奖队伍数”代替“参赛队伍数”来计算比例这实际上计算的是“获奖队伍数占所有获奖队伍的比例”而非真正的获奖率。但这并不影响我们在赛题之间进行相对比较。例如D题的这个比例远高于其他题足以说明其绝对热度。3.2 奖项等级维度荣誉金字塔的结构分析不同奖项等级的分布可以帮助我们理解竞赛的选拔强度。奖项比例结构计算一等奖、二等奖、三等奖、成功参赛奖在总获奖人数中的占比。通常呈现一个金字塔结构成功参赛奖或三等奖是塔基数量最多一等奖是塔尖数量稀少。2020年的数据可以验证这个结构是否稳定。分赛题的奖项结构差异将上述金字塔结构按赛题拆分。你会发现像E、F这样的题金字塔可能更“胖”中间等级队伍占比高而D题的金字塔可能更“瘦”底层队伍占比极大。这直观反映了不同赛题竞争格局的差异。“一等奖的含金量”统计每个赛题一等奖的获奖比例一等奖数/该题获奖总数。这个数字直接反映了在该赛题中登顶的难度。如上表所示C、E、F题的一等奖占比明显高于A、B、D题。3.3 院校维度团体实力的分布图按学校对获奖数据进行聚合统计可以从另一个角度观察竞赛生态。获奖总数排行榜统计各学校获得的所有奖项包括成功参赛奖数量。这个榜单反映了学校的整体参与度和基本实力。通常理工科强校、研究生规模大的学校会排名靠前。高质量奖项排行榜统计各学校获得一等奖、二等奖的数量甚至可以为不同奖项赋予权重如一等奖5分二等奖3分三等奖1分计算加权总分。这个榜单更能反映学校的顶尖竞争力。优势赛题分析针对排名靠前的学校进一步分析其获奖在六个赛题上的分布。例如可能发现XX大学在“优化类”赛题如A、D题上表现强势而YY大学在“数据挖掘类”赛题如C、F题上斩获颇丰。这体现了不同学校在不同学科领域的传统优势。获奖深度分析计算该校“高质量奖项占比”一二等奖数/总获奖数。这个指标可以剔除单纯靠参赛队伍数量堆砌的影响反映该校参赛队伍的平均水平和获奖质量。一个获奖总数不多但高质量奖项占比很高的学校其培养模式或选拔机制可能值得关注。实操心得院校分析要注意数据标准化。直接比较绝对数量对规模小的学校不公平。因此我通常会同时呈现“总获奖数”、“加权得分”和“高质量奖项占比”三个榜单并给出综合评论。另外有些学校的不同校区如北京校区、深圳校区在名单中可能分开需要根据前期清洗的映射表进行合并才能真实反映该大学整体的实力。4. 可视化呈现让数据自己说话数字是冰冷的图表则能瞬间传递信息。在这个项目中我使用了Matplotlib和Seaborn库进行可视化关键图表包括赛题热度与获奖分布旭日图Sunburst Chart第一层六个赛题扇形面积代表该题获奖队伍总数。第二层每个赛题扇形再细分为四个环一等、二等、三等、成功参赛面积代表各奖项数量。一眼就能看出哪个赛题最大D题以及每个赛题内部的奖项构成。各赛题奖项等级堆积柱状图X轴为赛题A-F。每个柱子在纵向上按奖项等级从下到上成功参赛、三等、二等、一等堆积并用不同颜色区分。可以清晰对比不同赛题在奖项等级分布上的差异例如看到D题的柱子底部低等奖非常厚顶部一等奖很薄。院校获奖TOP20双轴图左侧Y轴和柱状图显示总获奖数量前20的学校。右侧Y轴和折线图在这20个学校上叠加显示其“高质量奖项占比”的折线。可以直观看到哪些学校是“量大管饱”柱高但线低哪些是“少而精”柱可能不高但线很高。获奖学校地理分布热力图利用学校的城市信息在地图上绘制点或热力图。可以直观看出获奖队伍在全国范围内的分布情况是否集中在高等教育资源丰富的地区如华东、华北。这些图表不仅是分析结果的展示其制作过程本身也是数据分析的一部分。在编码实现时需要将前面清洗好的数据通过pandas的groupby和聚合函数count,sum进行统计再将结果传递给绘图库。5. 分析结论与策略建议基于以上多维度的分析我们可以得出一些对后续参赛者有直接指导意义的结论对于赛题选择的建议求稳保奖目标是获得国家级奖项三等及以上可以选择历年参赛人数较多、题目类型相对传统的赛题如A、B题。这些题目资料多套路相对成熟只要完成度好获奖概率稳定。冲刺高分实力强劲目标是一等奖建议避开“内卷”严重的超级热门题如D题。转而关注那些有一定难度、需要跨学科知识、但选择人数中等的赛题如C、E题。在这些赛题中你的创新点更容易被评委看到。差异化竞争如果队伍在某个小众领域如生物信息、地理信息系统有专长果断选择相关赛题如对应的F题。竞争对手少且评委可能对该领域的深度工作评价更高。对于备赛的启示研究历史数据像本次分析一样研究过去几年各赛题的获奖分布、院校表现可以发现潜在的趋势和“价值洼地”。评估自身坐标通过对比自己学校在历史数据中的表现如平均获奖等级、优势赛题可以更客观地定位自身实力制定合理目标。团队配置优化根据目标赛题的常见类型优化、统计、仿真、数据挖掘在组队时有针对性地搭配具有相应技能编程、建模、写作、专业知识的队员。本次分析2020年的特殊性2020年竞赛是在疫情背景下进行的可能采用了线上提交和评审的方式。这一点是否影响了赛题选择倾向、评审标准或院校表现是一个有趣的开放性问题。例如线上竞赛是否使得资源获取更公平是否让一些在数据、编程上占优的队伍更具优势这需要结合更多年份的数据进行对比分析才能得出结论。6. 技术复盘与可扩展方向这个项目在技术上并不复杂但其完整流程涵盖了数据科学中一个标准项目的核心环节需求定义 - 数据采集 - 数据清洗 - 数据存储 - 数据分析 - 数据可视化 - 报告总结。技术栈选择数据获取与清洗Pythonpdfplumber/PyPDF2pandas。Python是自动化处理的不二之选。数据分析pandasnumpy。进行分组、聚合、计算等操作。数据可视化MatplotlibSeaborn。Seaborn的默认样式更美观Matplotlib用于细节定制。数据存储清洗后的结构化数据保存为CSV或SQLite数据库便于后续查询和分享。遇到的挑战与解决方案PDF解析不全部分PDF排版复杂正则表达式失效。解决方案是结合使用pdfplumber的extract_tables()功能如果名单是表格形式和extract_text()并辅以更精细的文本后处理逻辑。学校别名处理这是一个持续的过程。解决方案是建立一个可维护的映射字典文件并设计一个模糊匹配函数如使用difflib库对未能直接匹配的学校名进行建议人工审核后加入字典。可视化图表过于拥挤当展示上百所学校的名字时X轴标签会重叠。解决方案是对非TOP20的学校进行“其他”归类或者使用交互式图表库如Plotly但考虑到最终报告为静态图片选择了聚合展示。项目的可扩展方向时间序列分析收集多年如近十年的数据分析赛题热度趋势、奖项比例变化、院校排名波动。这能揭示更长期的规律。赛题内容关联分析如果能获取赛题摘要或关键词可以分析赛题领域如“优化”、“大数据”、“医疗健康”与获奖难度的关系。网络分析虽然不涉及队员信息但可以尝试分析院校之间的合作关系如果同一赛题有来自不同学校的队伍获奖且这些学校在历史上常有合作。构建交互式看板使用Dash或Streamlit框架将分析结果做成一个Web应用用户可以通过下拉菜单选择年份、赛题动态查看图表。做完这个项目我最深的体会是数据无处不在价值隐藏于细节。一份看似简单的获奖名单通过系统性的整理和分析竟能挖掘出如此多对后来者有指导意义的策略信息。它让我相信在任何领域用数据驱动的思维去审视那些“司空见惯”的信息都可能获得意想不到的洞察。对于未来想参赛的同学我的建议是花点时间研究历史数据这比你多刷几道建模题可能更能让你在战略上领先一步。