前言我们如何在本地安全地运行私有的LLMs呢开源模型为此提供了可能的解决方案。本文将介绍七种方法。Hugging Face的transformers这是一个Python库可以简化本地运行LLM的过程。Transformers的优点自动模型下载提供代码片段非常适合实验和学习Transformers的缺点需要对ML和NLP有深入了解需要编码和配置技能2.Llama.cpp特点Llama.cpp是一个基于C的推理引擎专门为Apple Silicon优化可以运行Meta的Llama2模型。它针对GPU和CPU都做了推理优化。优点性能高于基于Python的解决方案支持在适度的硬件上运行大型模型如Llama 7B并提供绑定可以用其他语言构建AI应用程序同时通过Llama.cpp运行推理。缺点模型支持有限需要构建工具。使用场景当你需要在自己的硬件上运行大型模型或者需要用其他语言构建AI应用程序时可以选择使用Llama.cpp。3.Llamafile特点Llamafile由Mozilla开发基于C开发,它使用了llama.cpp这是一个C库提供了运行自托管大型语言模型LLMs所需的各种功能。通过llama.cpp开发人员可以轻松地创建、加载和运行LLM模型而无需担心底层环境的复杂性。此外Llamafile还提供了一个简洁的API接口使得开发人员可以更加方便地与LLM进行交互从而实现各种复杂的应用场景.优点与Llama.cpp相同的速度优势你可以构建一个嵌入模型的单个可执行文件。缺点项目仍处于早期阶段不是所有模型都支持只支持Llama.cpp支持的模型。使用场景当你需要创建一个嵌入模型的单个可执行文件或者需要一个便携性强的工具时可以选择使用Llamafile。4.Ollama特点Ollama是Llama.cpp和Llamafile的一个更加用户友好的替代品。你下载一个可执行文件它会在你的机器上安装一个服务。安装完成后你打开一个终端并运行。优点易于安装和使用可以运行llama和vicuña模型运行速度非常快。缺点提供有限的模型库自己管理模型你不能重用自己的模型无法调整选项来运行LLM暂时没有Windows版本。使用场景当你需要一个易于安装和使用的工具或者需要运行llama和vicuña模型时可以选择使用Ollama。5vLLMvLLM是一个高吞吐量和内存高效的大型语言模型(LLMs)推理和服务引擎。它的目标是为每个人提供简便、快捷、经济的LLM服务。优点高效的服务吞吐量vLLM可以快速处理大量的并发请求。支持模型种类多。内存高效vLLM使用了一种名为PagedAttention的技术可以高效地管理注意力键和值的内存。缺点你需要确保你的设备有GPUCUDA或者RoCm.vLLM会提供对Phi-3的支持目前代码在集成中。6.TGIText Generation InferenceTGIText Generation Inference是HuggingFace推出的大模型推理部署框架。它支持主流大模型和主流大模型量化方案并且联用Rust和Python来达到服务效率和业务灵活性的平衡。TGI实现了许多特性例如简单的启动LLM使用Flash Attention和Paged Attention进行推理的优化的transformers代码使用bitsandbytes GPT-Q EETQ AWQ Safetensors进行量化Text Generation InferenceTGI和Transformer模型的推理方式有一些区别主要体现在以下几个方面并行计算TGI和Transformer都支持并行计算但TGI更进一步它使用了Rust和Python联用的方式实现了服务效率和业务灵活性的平衡。这使得TGI在处理大型语言模型时能够更有效地利用计算资源提高推理效率。优化技巧TGI引入了一些优化技巧如continuous batching、Flash Attention和Paged Attention等这些技巧可以进一步提高推理的效率和性能1。而传统的Transformer模型可能没有这些优化技巧。模型支持TGI支持部署GPTQ模型服务这使得我们可以在单卡上部署拥有continuous batching功能的更大的模型。而传统的Transformer模型可能没有这样的支持。然而虽然TGI在某些方面可能比传统的Transformer推理更优秀但这并不意味着我们就不需要使用Transformer的推理了。因为在某些情况下例如当我们需要处理的任务或数据与TGI的优化技巧不匹配时使用传统的Transformer推理可能会更合适。目前测试效果TGI的推理速度不如vLLM。TGI推理支持容器方式运行7.DeepspeedDeepSpeed支持本地推理。DeepSpeed是微软推出的一个开源深度学习优化库它通过系统优化和压缩的方法深度优化硬件设备、操作系统、框架等方面并采用模型压缩和数据压缩技术以提升大规模模型推理和训练的效率。DeepSpeed-Inference是DeepSpeed框架在推理方面的扩展专门针对大语言模型设计。它通过模型并行、张量并行和流水线并行等技术提高了推理性能并降低了延迟。推理框架的选择选择之前先确认要使用的模型是否支持这种推理框架DeepSpeed如果你的任务需要高性能的推理那么DeepSpeed可能是一个好选择。DeepSpeed提供了一系列优化技术如ZeRO零冗余优化器3D并行数据并行、模型并行和流水线并行的结合1比特Adam等这些技术可以显著提升大模型训练和推理的效率。ollama如果你需要一个易于使用的工具那么ollama可能更适合你。ollama的主要优点在于其易用性用户可以通过简单的命令行界面运行模型。Llamafile如果你需要创建一个嵌入模型的单个可执行文件那么Llamafile可能是一个好选择。Llamafile以其便携性和创建单文件可执行文件的能力而闻名。TGI (Text Generation Inference)如果你的任务需要在多种硬件环境下进行高效推理那么TGI可能是一个好选择。TGI提供了一系列优化技术如模型并行、张量并行和流水线并行等这些技术可以显著提升大模型推理的效率。Transformer如果你的任务需要处理复杂的自然语言处理任务如机器翻译、文本生成等那么使用基于Transformer的模型可能是一个好选择。Transformer模型具有强大的表示能力可以捕获文本中的长距离依赖关系。vLLM如果你的任务需要处理大规模的自然语言处理任务如文本分类、情感分析等那么使用vLLM可能是一个好选择。vLLM是一个大规模的预训练模型可以在各种自然语言处理任务上实现优秀的性能。最后的最后感谢你们的阅读和喜欢我收藏了很多技术干货可以共享给喜欢我文章的朋友们如果你肯花时间沉下心去学习它们一定能帮到你。因为这个行业不同于其他行业知识体系实在是过于庞大知识更新也非常快。作为一个普通人无法全部学完所以我们在提升技术的时候首先需要明确一个目标然后制定好完整的计划同时找到好的学习方法这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】