简介由华东师范大学课程与教学研究所杨晓哲副教授撰写的学术论文基于人工智能构建课堂分析新架构面向中小学教师、教研员与教育研究者。文章直面传统课堂分析规模化、标准化与专业性的不足提出高品质课堂智能分析CEED标准从课堂效率、课堂公平、课堂民主三个维度展开推动听评课走向数据化、证据化、反馈化的课堂研究。资源为单份PDF全文共1个文件压缩包约652KB可下载后直接阅读或打印。目前已有153人学习文中结合近万节课的多模态数据整理与预训练系统阐述言语、行为、心理等数据采集及数据层、认知层、标准层、应用层四层架构对智能教研与人机融合教学改进具有参考价值。1. 基于人工智能的课堂分析架构到底在解决什么问题传统听课评课有个黑匣子教研员坐在教室后面靠耳朵听、靠本子记课后凭印象说“这节课师生互动不错”“提问有点碎”。但一堂课40分钟至少有几百次师生话语往来人脑只能记住其中最突出的几段评课结论天然带个人偏好很难复现。杨晓哲老师提出的基于人工智能的课堂分析架构一种智能的课堂教学研究本质上就是把“听一节课”变成“采集一节课”——让 AI 把课堂的语言、行为、节奏全部转成结构化数据课后可以回放、检索、比对、生成分析报告。这套方案适合三类人想用数据做教研的学校技术负责人、做教育产品研发的工程师、以及被“人工智能教育”落地搞得一头雾水的教研员。先说结论AI 课堂分析最难啃的不是算法而是课堂的编码体系和数据链路设计。算法只是工具真正决定分析质量的是你怎么定义“好课堂”、怎么把定义翻译成机器能执行的规则。2. 架构总览课堂分析系统的六层数据链路与模块选型一套完整的基于人工智能的课堂分析架构拆开看是六层链路课堂信号采集 → 音视频预处理 → 语音转写与声纹分离 → 课堂行为识别 → 教学事件编码 → 分析报告生成。每一层都有明确输入输出下一层只依赖上一层的结构化结果不直接碰原始音视频。这样做的好处是分析指标可以任意替换但数据链路不用重搭。2.1 数据从哪里来教室里的硬件部署与采样参数采集层是整个分析架构里最容易轻视、也最容易返工的一环。常见做法是每个教室部署一台拾音麦克风阵列加一台全景摄像头条件好的会加一台教师跟踪摄像头。硬件选型只有三条硬指标麦克风阵列要支持波束成形beamforming能定位声源方向否则后排学生发言会被前排盖掉音频采样率至少 16kHz要留给语音识别模型 48kHz 的富余量就更稳妥视频帧率不用高1015fps 足够因为课堂动作变化慢高帧率只会白白增加存储成本。我见过不少学校先上了分析系统结果发现课堂录像里教师声音清楚、学生声音像蚊子叫——因为用了普通会议室全向麦克风没有波束成形近场声音压过远场。血泪经验是教室拾音宁可多花预算也不要后期靠算法补救。音频质量决定了后面 ASR 转写的上限前端丢了信号后端再强的模型也救不回来。采集层还牵涉一个常被忽视的参数音频和视频的时钟同步。课堂分析要事后对齐“某句话对应某个画面”如果在采集端不做时间戳统一后面做跨模态分析时会出现几百毫秒的偏移直接导致话语和行为的对应关系错位。落地时建议用 NTP 时间同步或让采集盒直接给音视频打硬件时间戳。2.2 分析服务端转写、编码、行为识别三个引擎协同服务端是架构的核心对应三个 AI 引擎分工明确。语音转写引擎负责把课堂录音变成带时间戳的文本并对每句话标注说话人角色教师/学生/齐答/静默。这里的选择很多人纠结用本地离线模型还是云端 API。我的建议分场景——课堂环境网络不稳定的学校务必选本地部署网络稳定且数据量大的区域可以走云端 API但要做好隐私脱敏。行为识别引擎处理视频流输出课堂里谁在什么时候做了什么事教师位置、教师板书、学生举手、学生站立、学生趴桌、小组讨论等。注意这里识别的是“行为类别”而不是“行为质量”别指望 AI 告诉你“这个学生在认真思考”。最上层是编码引擎它把前两层的结果翻译成教育学语言。比如把连续 10 分钟教师讲授标记为“讲授型教学事件”把 5 次追问学生发言标记为“追问式互动”。这一步是传统教育技术里的课堂观察编码比如弗兰德斯互动分析系统 FIAS的自动化改造——“智能课堂教学研究”里真正值钱的部分就在这里。项目的标题里特意强调“架构”而非“算法”这个定位是准的这套系统的价值不在单一模型多强而在于三个引擎的接口协议是否稳定、数据格式是否统一。2.3 结果输出从数据到课堂分析报告分析报告不是把数据堆给老师看而是要给出教研能直接使用的指标。常见指标体系分四块师生话语量教师讲话时长占比、学生个体发言时长占比、齐答时长占比。教师提问质量记忆型问题、理解型问题、应用型问题、开放型问题的占比分布。课堂结构教师讲授、学生独立学习、小组合作、师生互动四类教学事件的时间分布。学生参与度被动应答次数、主动提问次数、小组讨论参与率、注意力偏离率。这里有个容易误判的指标——“教师讲话时间占比”。很多学校把它当课堂活跃度的反向指标但这只是个中性数据有些高密度讲授型课堂比如数学概念课本身就该是教师主导。架构里要预留“按学科和课型筛选”的能力否则报告会被机械解读最后反过来损害教研信任。这就是分析师和算法工程师都要盯住的AI 输出指标但指标的含义必须由教研员和教学设计者共同定义。3. 用 ASR LLM 做课堂话语分析最小可跑通实现课堂话语分析是整套架构里最容易先做出来的模块。因为它只需要音频输入不涉及复杂的视觉处理且可以直接用开源的 ASR语音识别模型和大语言模型搭建。下面给一个我自己调试过的最小实现路径跑通后再往上加规模。3.1 课堂录音转写的工程细节用 Whisper 批量处理语音转写这一层不用自己训练模型直接用开源的 Whisper 就能起步。课堂场景比普通会议更难转写——学生发言短、声音小、经常齐答还有教师提问时学生七嘴八舌。所以建议直接用 large-v3 或至少 large 模型小模型base/small在课堂音频上的字错率会让你怀疑人生。import whisper import json model whisper.load_model(large-v3) # 显卡显存不够就用 medium但教室音频别低于 medium audio_path classroom_2024_0301_period2.wav result model.transcribe( audio_path, languagezh, word_timestampsTrue, # 开启字级时间戳后面对齐视频靠它 vad_filterTrue, # 过滤静音段课堂里的停顿很长 vad_parameters{min_speech_duration_ms: 500}, # 短于500ms的语音视为噪声 ) segments [] for seg in result[segments]: segments.append({ start: seg[start], end: seg[end], text: seg[text].strip(), }) with open(transcript_segments.json, w, encodingutf-8) as f: json.dump(segments, f, ensure_asciiFalse, indent2) print(f共转写 {len(segments)} 段总时长 {result[duration]:.1f}s)这段代码的核心是把音频切成带时间段落的文本片段。vad_filter很关键——课堂里经常有 5 到 10 秒的安静时刻学生做练习、翻书、思考不过滤的话 Whisper 会把静默脑补成“嗯……”“那么……”污染后面统计教师/学生话语时长。min_speech_duration_ms设置成 500ms 可以避免把关门声、挪椅子声转写成文字。转写完成后的文件格式建议直接用 JSON 而不是文本文件因为后面 LLM 分析需要读取每条发言的时间戳、角色和文本多轮往返。转写这一步最大的工程坑在于时长40 分钟双声道音频用 large-v3 在 RTX 3090 上大约需要 35 分钟CPU 上可能要跑 30 分钟以上批处理要留意队列积压。3.2 用 LLM 做课堂观察编码让模型替你做 FIAS 标注弗兰德斯互动分析系统是把课堂师生言语行为分成 10 类编码教师接受情感、教师表扬鼓励、教师提问、教师讲授、教师指令、教师批评、学生应答、学生主动发言、齐答、安静或混乱。传统做法是人工每 3 秒录一个编码一节课一个人要录 800 次现在可以让 LLM 来做这件事。from openai import OpenAI client OpenAI(base_urlhttp://localhost:11434/v1, api_keyollama) # 本地用 Ollama 跑 qwen2.5:14b课堂文本分析不需要接云端兼顾隐私 coding_prompt 你是课堂观察编码员。请为下面这段课堂对话的每一句标注FIAS编码。 编码规则 1教师接受情感 2教师表扬鼓励 3教师采纳学生观点 4教师提问 5教师讲授 6教师指令 7教师批评 8学生应答 9学生主动发言 10齐答或安静 只输出JSON数组每个元素包含start, end, speaker, code, label, reason 课堂对话 {segments} import json segments json.load(open(transcript_segments.json, encodingutf-8)) seg_text \n.join( f[{s[start]:.1f}-{s[end]:.1f}] {s[text]} for s in segments ) resp client.chat.completions.create( modelqwen2.5:14b, messages[ {role: system, content: 你只输出JSON不要输出任何解释。}, {role: user, content: coding_prompt.format(segmentsseg_text)}, ], temperature0.2, # 编码任务要低随机性高了会编出幻觉码 max_tokens4000, ) codes json.loads(resp.choices[0].message.content) with open(fias_codes.json, w, encodingutf-8) as f: json.dump(codes, f, ensure_asciiFalse, indent2)按我的实践经验这段提示词有两个参数必须盯死。第一temperature必须设在 0.2 以下课堂编码是分类任务不是创作任务温度高了模型会在“教师提问”和“教师讲授”之间随机漂移。第二max_tokens要按课堂话语量预估一节课 700 条语句时4000 tokens 勉强够用再多就要分批。漏输出的原因是截断——你以为是模型不会其实是输出长度不够。另外强烈建议提示词里让 LLM 给每条编码写一句“reason”比如“教师问还有没有其他解法属于开放性提问”。这会在你做人工抽检时救你一命——没有理由的编码你没法排查错误全凭模型瞎猜。3.3 从编码到课堂指标统计与可视化拿到 FIAS 编码后课堂话语指标就可以算了。这里给出的指标公式是自己实践中最常用的import json from collections import Counter codes json.load(open(fias_codes.json, encodingutf-8)) total_duration sum(c[end] - c[start] for c in codes) teacher_codes {1,2,3,4,5,6,7} student_codes {8,9} quiet_codes {10} teacher_time sum(c[end] - c[start] for c in codes if c[code] in teacher_codes) student_time sum(c[end] - c[start] for c in codes if c[code] in student_codes) print(f教师话语占比: {teacher_time/total_duration*100:.1f}%) print(f学生话语占比: {student_time/total_duration*100:.1f}%) print(f安静/混乱占比: {(total_duration-teacher_time-student_time)/total_duration*100:.1f}%) # 教师提问密度每分钟提问次数 question_segments [c for c in codes if c[code] 4] minutes total_duration / 60 print(f教师提问次数: {len(question_segments)}提问密度: {len(question_segments)/minutes:.1f} 次/分钟)从教学研究角度这里最需要跟教研组对齐的是“齐答算不算学生话语”。传统 FIAS 里齐答编码为 10属于安静/混乱不统计在学生主动发言里。但现在很多课改强调“全员参与”教研组可能希望把齐答单独列出来看占比。架构设计时注意把统计口径做成可配置的——别把统计逻辑焊死在代码里后面改需求你会想抽自己。4. 课堂行为与教学事件分析从视频到课堂结构话语分析解决“这节课谁在说、说了什么”视频分析解决“这节课师生在做什么”。把两条线合并才能还原课堂结构。4.1 视频抽帧与行为识别不要对每一帧做检测新手最容易犯的错误是对视频每一帧跑目标检测40 分钟视频 15fps 就是 36000 帧再轻量的模型也扛不住而且相邻帧结果高度重复纯属浪费算力。业界通用做法是抽帧检测比如每秒抽 1 帧40 分钟也就 2400 帧配合跟踪算法做插值已经能覆盖课堂上的大部分行为。import cv2 cap cv2.VideoCapture(classroom.mp4) fps cap.get(cv2.CAP_PROP_FPS) sample_interval int(fps) # 每秒抽1帧 frame_idx 0 frames [] while True: ret, frame cap.read() if not ret: break if frame_idx % sample_interval 0: resized cv2.resize(frame, (640, 480)) frames.append((frame_idx / fps, resized)) frame_idx 1 if len(frames) 3000: # 只取前50分钟防止异常视频拖死内存 break cap.release() print(f抽帧完成: {len(frames)} 帧)抽帧间隔可以根据场景调讲授环节每秒 1 帧足够小组讨论环节建议提到每秒 2 帧因为学生的动作变化快。但全局统一使用每秒 1 帧更省心后面做时序分析时时间轴也更整齐。抽出来的帧先缩放到 640×480因为行为识别模型一般用这个分辨率输入原始分辨率只会拖慢预处理。行为识别模型的选择工程上常用两个方向一是用开源的检测模型 YOLO 系列检测人头和人体位置再自己写规则判断姿态二是直接用人脸表情或骨骼关键点模型。课堂场景我倾向 YOLO 检测人位置关系推导——表情识别在教室里会因为后排学生面部像素太小而基本失效骨骼关键点对遮挡趴在桌上、侧坐敏感都不如“检测到几个头是否站立”这种粗粒度信号来得稳。4.2 教学时间序列分段把行为序列切成一节节课的结构拿到每一帧的行为标签后不能直接下结论“这节课很活跃”需要把零散的帧级行为聚合成教学事件。算法思路不复杂就是“相邻同类行为合并”import json from collections import deque # frames_behavior 是 [{time, teacher_pos, teacher_standing, student_standing_count}] behaviors json.load(open(frames_behavior.json, encodingutf-8)) events [] current None merge_threshold 8.0 # 秒小于8秒的同类间隔直接合并 for b in behaviors: label 讲授 if b[teacher_standing] else 巡堂 if b[student_standing_count] 8: label 小组活动 if current and b[time] - current[end] merge_threshold and label current[label]: current[end] b[time] else: if current: events.append(current) current {label: label, start: b[time], end: b[time]} if current: events.append(current) # 过滤太短的碎片事件 events [e for e in events if e[end] - e[start] 30] # 少于30秒的片段不构成教学事件这个 30 秒过滤值得注意。课堂上的“教师走到学生中间拿作业本”可能只持续 5 秒如果把它单独切成一个“巡堂事件”整个课堂结构会碎成几十段教研员根本看不下去。把短事件合并到相邻长事件里才能得到有意义的课堂节奏讲授/活动/讨论的宏观分布。merge_threshold是这里的关键旋钮。设得太小事件碎设得太大把两次独立活动粘在一起。我的经验值8 秒是通用起点文科类课可以调到 12 秒因为讨论环节停顿多理科习题课调到 5 秒因为讲解节奏紧。这个参数属于典型“洗数据”工作必须配套人工抽样看效果千万别让算法自己定。4.3 跨模态话语与行为合并课堂画像才有血有肉只说话语分析和只做行为分析都只是“半个课堂”。真正的课堂结构分析是把两条线在时间轴上对齐教师在 9:03-9:10 连续讲授第 5 类编码同时检测到 12 名学生低头——这个时段可以标注为“学生注意力低谷”。教师在 9:15 提问第 4 类编码检测到 3 名学生举手1 名学生起立发言——这个时段是“有效互动”。跨模态对齐的技术难度不高时间戳对齐即可真正的门槛是业务侧哪些跨模态组合值得关注需要教研员事先给出一批“假设”系统才能有针对性地验证。比如“教师提问后等待 3 秒以上学生应答质量是否更高”——这就变成一个可计算的问题而 AI 分析架构只是把这个假设变成了一条可自动执行的统计任务。我见过的失败案例都是反过来先让 AI 自由分析出几百个指标然后教研员对着报告发呆——信息过载等于没有信息。好的架构要把指标选择权交给教学研究者系统提供的是计算能力不是教学结论。5. 课堂 AI 分析的五个常见坑从数据标错到指标失真这套架构跑起来不难跑好很难。下面五条是我在不同学校项目里踩过的坑每条都是“现象 → 原因 → 解决”的路子可以直接对照排查。5.1 坑一麦克风方位导致学生发言被系统性漏采现象分析报告显示某节课学生话语占比只有 5%但教研员现场听课明明有十几个学生发言。原因麦克风阵列安装位置偏向讲台一侧波束成形方向固定朝前学生区的声音落在拾音盲区。解决安装时做一次“绕场测试”——人站在教室四个角落和中间分别说话用采集软件看电平强度四个角偏差不超过 6dB 才算合格。另外把音视频采集盒的自动增益控制AGC打开避免学生声音小被静音门限吃掉。5.2 坑二学生齐答时转写完全错乱现象教师问“是不是”全班齐答“是”转写结果要么是空白要么是“是不是是不是是是是”。原因多个声源同时说话单一 ASR 模型无法分离声纹把齐答当噪声过滤或重复拼接。解决课堂场景不要指望 ASR 独立解决齐答识别。常见做法是引入声纹分离前置模块把音频先做 speaker diarization说话人分离再将分离后的轨道分别转写。另一个偷懒但实用的参数调整在 ASR 里关闭vad_filter的静音抑制把齐答段的短语音保留下来至少能识别出“这段是齐答”供下游做事件标记。5.3 坑三课堂切片策略不统一前后指标不可比现象同一节课上月报告显示“讲授 20 分钟 / 互动 15 分钟”本月变成“讲授 28 分钟 / 互动 10 分钟”但实际教学安排几乎没变。原因切片参数被调整过比如merge_threshold从 8 秒改成了 15 秒或者模型版本升级后行为分类口径变了。解决从第一天起就把每个分析任务的参数和模型版本号写进报告元数据。架构里设计一个pipeline_config的 JSON 文件随报告一起归档。任何一次参数调整都要走“重新跑旧数据对比”的回归验证绝不能直接拿新参数跑新课还跟历史数据比。5.4 坑四视觉模型把“教师停顿看板书”识别成“教师无所事事”现象课堂结构报告显示教师有 7 分钟“非教学行为”教研员复核录像发现这 7 分钟其实是教师在板书后凝视教学设计。原因行为识别模型只认“身体运动”和“站立位置”不认“教学意图”。教师站在白板前静止不动模型默认是“非教学”但人眼知道他在组织思路。解决行为模型只输出“低层信号”位置、姿态、人数把“是否属于教学行为”的判断交给上层编码引擎结合话语时间戳做上下文判断。如果教师静止的 30 秒里伴随讲述就归为“讲授”如果是整段静默才标记为“停顿”。不要在视觉模型里试图直接输出教学价值判断这是 AI 偏见的常见根源。5.5 坑五把报告当证据忘了模型误差现象学校把课堂分析报告用于教师绩效考核某教师因“学生参与度低”被约谈结果人工复核发现全班 30 人里有 6 人被视觉模型漏检。原因模型误差是客观存在的但报告把置信度计算藏在了黑匣子里管理者只看最终数字。解决所有下发的分析报告必须带“置信度”字段和“人工复核建议”按钮比如“本报告学生检测置信度 91%建议重点抽查第 12-18 分钟”。更稳妥的方法是把 AI 报告定位为“教研辅助材料”而非“考核证据”架构只能决定数据的边界不能决定数据的用途。这个底线如果你不守住最后翻车的不是模型是整个项目。6. 让分析结果可信一致性校验与课堂报告的应用边界跑通架构之后下一步不是“加更多指标”而是“验证指标可信”。如果分析结果跟教研员的主观判断差距过大体系就没有生命力。我习惯在每一个新教室上线前做一轮“AI 与专家一致性校验”。具体做法随机抽 3 节课每节课由两名教研员人工对 10 分钟片段做 FIAS 编码每 3 秒一个标记共 200 个样本然后用 Cohen‘s Kappa 系数比较 AI 编码与人工编码的一致性。Kappa 值在 0.6 以上说明可接受0.8 以上说明模型编码稳定可靠低于 0.6 就要回头检查 ASR 转写质量或提示词定义。def kappa_score(ai_codes, human_codes): # 计算编码一致性的Kappa系数输入是两个等长编码列表 n len(ai_codes) observed sum(1 for a, h in zip(ai_codes, human_codes) if a h) / n ai_counts {} human_counts {} for a, h in zip(ai_codes, human_codes): ai_counts[a] ai_counts.get(a, 0) 1 human_counts[h] human_counts.get(h, 0) 1 expected 0.0 for code in set(ai_counts.keys()) | set(human_counts.keys()): expected (ai_counts.get(code, 0) / n) * (human_counts.get(code, 0) / n) return (observed - expected) / (1 - expected)上线后我也保留了一个习惯每月跑一次随机复核每次抽 30 分钟课堂录像把 AI 报告和人工观察记录并排对比重点看有没有出现“结构性偏差”——比如某个班级的口音让 ASR 转写质量骤降或者某个教室的灯光导致视觉模型漏检严重。这类问题不会在初次校验里暴露但像暗病一样持续拉低报告的可信度。最后说应用的边界。基于人工智能的课堂分析架构最大的价值不是给老师打分而是让课堂教学从“经验描述”变成“可复盘的样本”。老师上完一节课看到一个反问“你在提问后的平均等待时间是 1.8 秒而特级教师的平均值是 3.2 秒”——这种数据的说服力比任何口头评课都直观。所以我的使用建议是报告只给老师本人看前三个月不做横向比较不做绩效考核留足适应期。等到老师开始主动追问“为什么我的提问密度这么高”的时候这个智能课堂教学研究才算真正落地了。希望帮到你。本文还有配套的精品资源点击获取