模块一：人工智能与机器学习基础算法（共25题）一、单项选择题1. 在机器学习中，偏差（Bias）与方差（Variance）的权衡（Trade-off）是核心问题。以下哪种情况最可能对应高偏差、低方差？A. 决策树深度极大，在训练集上准确率99%，测试集上准确率70%B. 线性回归模型在训练集和测试集上误差均较高，且两者接近C. KNN算法中K值取1，训练集准确率100%，测试集准确率75%D. 随机森林包含500棵树，训练集误差极低，测试集误差略高参考答案：B（高偏差意味着模型欠拟合，训练和测试误差都大且接近）2. 在GBDT（Gradient Boosting Decision Tree）中，负梯度方向被用作残差的近似。在回归任务中，通常使用哪个损失函数来计算负梯度？A. 交叉熵损失（Cross-Entropy）B. 平方损失（MSE）C. Hinge损失D. KL散度参考答案：B3. 以下关于Batch Normalization（批归一化）的说法，错误的是（ ）A. 可以缓解内部协变量偏移（Internal Covariate Shift）B. 允许使用更大的学习率，加速收敛C. 在训练和推理阶段的行为完全一致，均使用当前batch的均值和方差D. 具有一定的正则化效果，可以减少对Dropout的依赖参考答案：C（推理时使用训练阶段计算出的全局移动平均均值和方差）二、多项选择题4. 以下属于生成式模型（Generative Models）的有（ ）A. 朴素贝叶斯（Naive Bayes）B. 隐马尔可夫模型（HMM）C. 支持向量机（SVM）D. 变分自编码器（VAE）E. 生成对抗网络（GAN）参考答案：ABDE（SVM是判别式模型）5. 在深度学习优化中，常见的自适应学习率算法包括（ ）A. SGD（随机梯度下降）B. AdamC. RMSpropD. AdaGradE. Momentum参考答案：BCD（SGD和Momentum使用固定学习率或简单衰减，不属自适应算法范畴）6. 关于激活函数的叙述，正确的有（ ）A. ReLU函数在正区间导数恒为1，解决了梯度消失问题B. Sigmoid函数输出范围在(0,1)，适合作为二分类输出层C. Tanh函数是零中心化的，通常收敛速度优于SigmoidD. ReLU在负区间的输出为0，必然导致模型无法训练E. Leaky ReLU通过引入负区间的微小斜率来缓解神经元死亡问题参考答案：ABCE（D错误，负区间输出0会导致部分神经元死亡，但不代表模型完全无法训练）模块二：大语言模型（LLM）与生成式AI（含训练/微调/Prompt Engineering）（共25题）一、单项选择题7. 在大模型预训练中，采用的损失函数通常为（ ）A. Contrastive Loss（对比损失）B. Cross-Entropy Loss for Next Token Prediction（下一个词预测的交叉熵损失）C. Triplet Loss（三元组损失）D. CTC Loss参考答案：B8. 当使用LoRA对7B参数量的模型进行微调时，如果rank=8，则实际可训练参数量大约为原始参数的（ ）A. 50%B. 10%C. 0.1% - 1%D. 80%参考答案：C（LoRA的可训练参数量通常在0.1%~1%级别，显存消耗大幅降低）9. 在Prompt Engineering中，Chain-of-Thought（CoT）的核心思想是（ ）A. 让模型分步骤推理，将复杂问题拆解为中间步骤B. 给模型提供多个示例（Few-shot）C. 让模型自我评估生成内容的质量D. 将多个Prompt串联执行参考答案：A10. 关于Flash Attention技术，以下描述最准确的是（ ）A. 通过改变注意力计算公式来提升精度B. 通过IO感知优化（Tiling/重计算）减少HBM（高带宽内存）的读写，加速注意力计算C. 一种新的模型压缩量化算法D. 仅适用于推理阶段，不适用于训练参考答案：B11. 在大模型推理中，KV Cache的主要作用是（ ）A. 减少模型参数的内存占用B. 缓存历史Token的Key和Value向量，避免自回归生成时的重复计算C. 缓存用户的Prompt历史，用于多轮对话D. 加速模型训练时的反向传播参考答案：B二、多项选择题12. 以下属于大模型高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法的有（ ）A. Prefix Tuning（前缀微调）B. P-Tuning v2C. Adapter Layers（适配器层）D. LoRA / QLoRAE. 全量参数微调（Full Fine-tuning）参考答案：ABCD（E不属于高效微调范畴）13. 大模型对齐（Alignment）技术中，RLHF（基于人类反馈的强化学习）包含的关键阶段有（ ）A. 监督微调（SFT）B. 奖励模型训练（Reward Modeling）C. 蒸馏训练（Distillation）D. 近端策略优化（PPO）强化学习E. 对比学习预训练参考答案：ABD（C和E不属于RLHF标准三阶段）14. 为了提升大模型推理吞吐量，常见的技术手段包括（ ）A. Continuous Batching（持续批处理/动态批处理）B. 模型量化（INT8/INT4）C. Tensor Parallelism（张量并行）D. Speculative Decoding（推测解码）E. 增加输出序列的最大长度参考答案：ABCD（E会增加计算负载和延迟，不会提升吞吐量，反而可能降低）
模块一：人工智能与机器学习基础算法（共25题）一、单项选择题1. 在机器学习中，偏差（Bias）与方差（Variance）的权衡（Trade-off）是核心问题。以下哪种情况最可能对应高偏差、低方差？A. 决策树深度极大，在训练集上准确率99%，测试集上准确率70%B. 线性回归模型在训练集和测试集上误差均较高，且两者接近C. KNN算法中K值取1，训练集准确率100%，测试集准确率75%D. 随机森林包含500棵树，训练集误差极低，测试集误差略高参考答案：B（高偏差意味着模型欠拟合，训练和测试误差都大且接近）2. 在GBDT（Gradient Boosting Decision Tree）中，负梯度方向被用作残差的近似。在回归任务中，通常使用哪个损失函数来计算负梯度？A. 交叉熵损失（Cross-Entropy）B. 平方损失（MSE）C. Hinge损失D. KL散度参考答案：B3. 以下关于Batch Normalization（批归一化）的说法，错误的是（ ）A. 可以缓解内部协变量偏移（Internal Covariate Shift）B. 允许使用更大的学习率，加速收敛C. 在训练和推理阶段的行为完全一致，均使用当前batch的均值和方差D. 具有一定的正则化效果，可以减少对Dropout的依赖参考答案：C（推理时使用训练阶段计算出的全局移动平均均值和方差）二、多项选择题4. 以下属于生成式模型（Generative Models）的有（ ）A. 朴素贝叶斯（Naive Bayes）B. 隐马尔可夫模型（HMM）C. 支持向量机（SVM）D. 变分自编码器（VAE）E. 生成对抗网络（GAN）参考答案：ABDE（SVM是判别式模型）5. 在深度学习优化中，常见的自适应学习率算法包括（ ）A. SGD（随机梯度下降）B. AdamC. RMSpropD. AdaGradE. Momentum参考答案：BCD（SGD和Momentum使用固定学习率或简单衰减，不属自适应算法范畴）6. 关于激活函数的叙述，正确的有（ ）A. ReLU函数在正区间导数恒为1，解决了梯度消失问题B. Sigmoid函数输出范围在(0,1)，适合作为二分类输出层C. Tanh函数是零中心化的，通常收敛速度优于SigmoidD. ReLU在负区间的输出为0，必然导致模型无法训练E. Leaky ReLU通过引入负区间的微小斜率来缓解神经元死亡问题参考答案：ABCE（D错误，负区间输出0会导致部分神经元死亡，但不代表模型完全无法训练）模块二：大语言模型（LLM）与生成式AI（含训练/微调/Prompt Engineering）（共25题）一、单项选择题7. 在大模型预训练中，采用的损失函数通常为（ ）A. Contrastive Loss（对比损失）B. Cross-Entropy Loss for Next Token Prediction（下一个词预测的交叉熵损失）C. Triplet Loss（三元组损失）D. CTC Loss参考答案：B8. 当使用LoRA对7B参数量的模型进行微调时，如果rank=8，则实际可训练参数量大约为原始参数的（ ）A. 50%B. 10%C. 0.1% - 1%D. 80%参考答案：C（LoRA的可训练参数量通常在0.1%~1%级别，显存消耗大幅降低）9. 在Prompt Engineering中，Chain-of-Thought（CoT）的核心思想是（ ）A. 让模型分步骤推理，将复杂问题拆解为中间步骤B. 给模型提供多个示例（Few-shot）C. 让模型自我评估生成内容的质量D. 将多个Prompt串联执行参考答案：A10. 关于Flash Attention技术，以下描述最准确的是（ ）A. 通过改变注意力计算公式来提升精度B. 通过IO感知优化（Tiling/重计算）减少HBM（高带宽内存）的读写，加速注意力计算C. 一种新的模型压缩量化算法D. 仅适用于推理阶段，不适用于训练参考答案：B11. 在大模型推理中，KV Cache的主要作用是（ ）A. 减少模型参数的内存占用B. 缓存历史Token的Key和Value向量，避免自回归生成时的重复计算C. 缓存用户的Prompt历史，用于多轮对话D. 加速模型训练时的反向传播参考答案：B二、多项选择题12. 以下属于大模型高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法的有（ ）A. Prefix Tuning（前缀微调）B. P-Tuning v2C. Adapter Layers（适配器层）D. LoRA / QLoRAE. 全量参数微调（Full Fine-tuning）参考答案：ABCD（E不属于高效微调范畴）13. 大模型对齐（Alignment）技术中，RLHF（基于人类反馈的强化学习）包含的关键阶段有（ ）A. 监督微调（SFT）B. 奖励模型训练（Reward Modeling）C. 蒸馏训练（Distillation）D. 近端策略优化（PPO）强化学习E. 对比学习预训练参考答案：ABD（C和E不属于RLHF标准三阶段）14. 为了提升大模型推理吞吐量，常见的技术手段包括（ ）A. Continuous Batching（持续批处理/动态批处理）B. 模型量化（INT8/INT4）C. Tensor Parallelism（张量并行）D. Speculative Decoding（推测解码）E. 增加输出序列的最大长度参考答案：ABCD（E会增加计算负载和延迟，不会提升吞吐量，反而可能降低）
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
