generative-ai-for-beginners 第16课开源大模型全解析与 Llama / Mistral / Falcon 选型实战【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners开源大模型Open Models是构建生成式 AI 应用时绕不开的关键选择它带来更高的可定制性、更低的 Token 成本与更灵活的部署方式。本文以本课程第 16 课16-open-source-models/README.md为主线系统讲解开源模型的定义边界、核心优势、主流模型家族Llama、Mistral、Falcon的技术特点并结合仓库内 20-mistral、21-meta 两课的实战代码给出从选型到上手的完整方案。读完本文你将能够判断“什么才是真正的开源模型”、理解三大模型家族各自的适用场景并知道如何通过模型目录快速筛选与试跑开源模型。什么是开源模型Open Source Models开源软件在技术发展的各个领域都扮演过关键角色。开源促进会Open Source InitiativeOSI为“开源软件”定义了 10 条标准核心要求是源代码在 OSI 批准的许可证下公开共享。然而LLM 的开发过程与普通软件开发并不完全相同这也引发了社区对“开源”在 LLM 语境下定义的广泛讨论。要严格对齐传统开源定义以下信息需要全部公开可得用于训练模型的数据集训练过程中的完整模型权重用于评估的代码用于微调的代码完整的模型权重与训练指标。截至目前真正完全满足上述标准的模型屈指可数。Allen Institute for Artificial IntelligenceAllenAI推出的OLMo系列如 OLMo-7B是其中之一其训练数据、权重、评估与微调代码均对外公开。正因如此本课在后续叙述中统一使用“开放模型Open Models”这一称呼——因为许多热门模型在撰写本课时可能并不完全满足上述全部标准。这一概念在本课程的姊妹课 02-exploring-and-comparing-different-llms/README.md 中也有对应讨论LLM 可以按“开放权重/开源”与“专有Proprietary”进行划分开源与开放权重模型允许检查、下载与定制但不同模型的许可证差异很大生产使用前必须审查许可证条款、服务成本、维护、安全更新与评估质量。开源模型的三大核心优势高度可定制Highly Customizable开放模型随发布附带详细的训练信息研究者和开发者可以修改模型内部结构从而打造针对特定任务或研究领域深度微调的专业模型。典型例子包括代码生成、数学运算、生物学等垂直场景。本课程后续 18-fine-tuning/README.md 会对微调做更详细的展开。成本优势Cost开放模型在使用与部署上的单 Token 成本通常低于专有模型。构建生成式 AI 应用时应当针对自己的用例评估“性能 vs 价格”的权衡。下图直观展示了各模型每百万 Token 的价格对比开放模型如 Llama 2 Chat 70B、Mixtral 8x7B明显处于价格低位灵活性Flexibility使用开放模型意味着你可以灵活地在不同模型间切换、甚至组合多个模型。一个典型例子是 HuggingChat 的助手功能用户可以直接在界面中切换底层模型例如在meta-llama/Llama-2-70b-chat-hf、mistralai/Mixtral-8x7B-Instruct-v0.1、google/gemma-7b-it之间选择也可以直接挂载 Code Llama 这类代码专用模型探索主流开放模型家族Llama 2面向对话场景的 Meta 开放模型由 Meta 开发的Llama 2是针对聊天应用优化的开放模型。其微调方法包含了大量对话数据与人类反馈使模型输出更贴合人类预期从而提供更好的用户体验。社区中基于 Llama 微调的版本包括Japanese LlamaELYZA专注于日语场景Llama ProTencentARC基础模型的增强版本。本仓库的 21-meta/README.md 将 Meta 家族的演进进一步展开在 Llama 2 之后Llama 3.1最高 405B 参数把上下文窗口提升到 128K Token、最大输出 Token 提升到 4096并带来了**原生函数调用Native Function Calling**能力——模型可根据用户提示自动选择内置的 Brave Search联网获取天气等实时信息与 Wolfram Alpha复杂数学计算工具也支持开发者自定义工具Llama 3.2则补齐了多模态能力11B/90B Vision Instruct 支持图文输入并提供了 1B/3B 的纯文本小尺寸变体可部署到边缘或移动设备。对应实战代码见 21-meta/python/githubmodels-assignment.ipynb。Mistral高性能与高效率并重采用混合专家架构Mistral是聚焦高性能与高效率的开放模型。它采用Mixture-of-Experts混合专家MoE架构把一组专业化的专家子模型组合进同一系统根据输入动态选择特定专家参与计算。由于每个模型只处理自己擅长的输入整体计算效率显著提升。社区微调版本包括BioMistral聚焦医学领域OpenMath MistralNVIDIA擅长数学计算。20-mistral/README.md 对 Mistral 家族做了更细致的拆解Mistral Large 2 (2407)旗舰级模型面向企业场景上下文窗口达 128K对比上一代 32K数学与编程任务平均准确率约 76.9%上一代约 60.4%支持英、法、德、西、意、葡、荷、俄、中、日、韩、阿拉伯、印地语等多语言尤其适合RAG检索增强生成、函数调用与代码生成Mistral Small属于小语言模型SLM范畴对比 Mistral Large 等大模型价格降低约 80%、延迟更低适合摘要、情感分析、翻译等文本任务以及高频调用场景Mistral NeMo三款中唯一采用Apache 2.0 许可证的免费模型是 Mistral 7B 的升级版。它使用Tekken 分词器而非更常见的 tiktoken对多语言与代码的分词效率更高基础模型开放微调并原生支持函数调用——这也使它成为最早一批支持函数调用的开源模型之一。值得一提的架构佐证来自 19-slm/README.md以 Mistral 7B 为代表的开源小模型采用sliding window attention滑动窗口注意力的 decoder-only 架构相比 GPT 类模型的训练与推理资源需求显著更低这也解释了为何 Mistral 能够在成本与性能之间取得平衡。FalconTII 出品低算力预算下的高性能 LLMFalcon由 Technology Innovation InstituteTII打造。其中Falcon-40B在 400 亿参数规模上用更少的算力预算取得了优于 GPT-3 的表现。这得益于FlashAttention 算法降低注意力计算的显存占用多查询注意力Multiquery Attention削减推理阶段的显存需求。更短的推理时间使 Falcon-40B 适合聊天应用。社区微调版本包括OpenAssistant基于开放模型构建的助手GPT4ALL性能优于基础模型的 Falcon 微调版本。如何选择合适的开放模型选型没有唯一答案本课给出了四条可操作的路径按任务过滤使用 Microsoft FoundryAzure AI Foundry模型目录的“按任务筛选filter by task”功能快速理解模型针对哪些任务类型训练参考 LLM 排行榜Hugging Face 维护的 LLM Leaderboard 会基于特定指标展示表现最佳的模型跨类型对比需要横向比较不同类型 LLM 时可借助 Artificial Analysis 这类资源。下图展示其“质量指数”对比越高越好可以看出开放模型在质量与成本之间往往存在明显的性价比优势按领域找微调版如果正在做某个具体用例搜索聚焦同一领域的微调版本往往非常高效同时用多个开放模型在真实用户场景中做实验对比观察其行为是否符合你与用户的预期也是值得坚持的实践。结合仓库源码快速上手开放模型开放模型最大的好处是上手快。本仓库在 20-mistral/python/githubmodels-assignment.ipynb 与 21-meta/python/githubmodels-assignment.ipynb 中提供了可直接运行的 Notebook统一通过Microsoft Foundry 模型目录ai.azure.com调用模型。以 Mistral 系列为例调用开放模型的基础姿势如下完整示例见 20-mistral/README.mdimport os from azure.ai.inference import ChatCompletionsClient from azure.ai.inference.models import SystemMessage, UserMessage from azure.core.credentials import AzureKeyCredential # 从 Microsoft Foundry 项目的 Overview 页面获取 endpoint os.environ[AZURE_INFERENCE_ENDPOINT] model_name Mistral-small # 可切换为 Mistral-large 对比延迟 token os.environ[AZURE_INFERENCE_CREDENTIAL] client ChatCompletionsClient( endpointendpoint, credentialAzureKeyCredential(token), ) response client.complete( messages[ SystemMessage(contentYou are a helpful coding assistant.), UserMessage(contentCan you write a Python function to the fizz buzz test?), ], temperature1.0, top_p1.0, max_tokens1000, modelmodel_name, ) print(response.choices[0].message.content)将同样的提示词分别发给Mistral-small与Mistral-large可以直观感受到 3~5 秒的响应时间差以及两模型在同一提示下回复长度与风格的不同——这正是 20-mistral/README.md 中“按场景选大小模型”的实证基础。针对函数调用场景21-meta/README.md 展示了如何通过系统提示词声明brave_search、wolfram_alpha工具让 Llama 3.1 在收到“查询斯德哥尔摩天气”这类提示时自动产出工具调用如|python_tag|brave_search.call(queryStockholm weather)。而 20-mistral/README.md 则通过mistral-common包的MistralTokenizer对比了 NeMoTekken与 Mistral Large 对同一段“带工具声明的对话”的分词数量差异——NeMo 返回的 Token 数更少直观印证了 Tekken 分词器的效率优势pip install mistral-commonfrom mistral_common.protocol.instruct.messages import UserMessage from mistral_common.protocol.instruct.request import ChatCompletionRequest from mistral_common.protocol.instruct.tool_calls import Function, Tool from mistral_common.tokens.tokenizers.mistral import MistralTokenizer model_name open-mistral-nemo # 换成 mistral-large-latest 即可对比 tokenizer MistralTokenizer.from_model(model_name) tokenized tokenizer.encode_chat_completion( ChatCompletionRequest( tools[Tool(functionFunction(nameget_current_weather, descriptionGet the current weather, parameters{...}))], messages[UserMessage(contentWhats the weather like today in Paris)], modelmodel_name, ) ) print(len(tokenized.tokens))若想在本仓库内复用统一的客户端封装可参考 shared/python/api_utils.py 中的create_azure_openai_clientL91-L144它从AZURE_OPENAI_ENDPOINT与AZURE_OPENAI_API_KEY环境变量读取凭据自动拼接endpoint/openai/v1/端点并对手动传入的参数做了缺失校验——这正是“用环境变量管理密钥、避免把凭据写进代码”的工程实践样板。RAG 场景下20-mistral/README.md 还给出了一个完整的示例用 Cohere 多语言嵌入模型为文档分块建索引faiss.IndexFlatL2检索与问题最相似的 Top-K 片段后拼进提示词再交给 Mistral Large 生成自然语言回答——这是一个可以直接迁移到生产项目的开放模型 RAG 基线。下一步开放模型最吸引人的一点就是可以快速上手。本仓库 16-open-source-models 课程提到Microsoft Foundry 模型目录专门提供了涵盖上述模型的 Hugging Face 集合可以直接在其中试用、部署。结合本仓库推荐的进阶路线是先跑通 20-mistral/python/githubmodels-assignment.ipynb 与 21-meta/python/githubmodels-assignment.ipynb再用 18-fine-tuning/README.md 中的方法对选定的开放模型做领域微调最后回到 02-exploring-and-comparing-different-llms/README.md 从整体视角完成专有模型与开放模型的系统性选型决策。【免费下载链接】generative-ai-for-beginners21 Lessons, Get Started Building with Generative AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-ai-for-beginners创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考