【大模型应用开发03】- 模型部署方案对比

正式学习之前有一些前置条件1必须有javaweb开发基础。 2必须掌握springboot 。 3会使用mybatis和mybatisPlus。4JDK17。 5熟练使用Idea开发工具进入正题模型部署方案分云部署和本地部署分别有什么优点和缺点下面就详细说一下云部署优点前期成本低部署维护简单弹性扩展全球访问 缺点数据隐私网络依赖长期成本高本地部署优点数据安全不依赖外部网络长期成本低高度定制 缺点初始成本高维护复杂部署周期长开放API优点‌前期成本极低‌无需从零搭建对应服务的底层能力直接调用公开接口即可快速实现功能大幅降低项目初期的研发、人力投入无需部署‌接口服务由提供方托管使用者不需要自行搭建服务器、配置运行环境接入流程轻量化无需维护‌后续的功能迭代、故障修复、性能优化都由API提供方负责使用者不需要投入运维精力全球访问‌只要有网络环境就可以跨地域调用接口服务不受本地部署的物理位置限制。 缺点数据隐私风险业务数据需要通过网络传输给第三方API服务商存在数据泄露、合规性相关的隐患网络依赖‌接口调用完全依托网络连接一旦出现网络波动、服务商侧故障就会直接影响自身业务的可用性长期成本高‌初期调用门槛低但随着业务规模扩大、调用量持续增长按调用次数计费的模式会让长期使用成本逐步攀升定制限制‌接口的功能、参数完全由服务商定义很难根据自身业务的特殊需求做深度定制开发灵活性不足。‌阿里云百炼注册创建API KEY这里的API KEY是你后面使用模型的密钥。到时候你可以充值使用本地部署大模型最便捷的工具是 ‌Ollama‌它的官方网站地址为https://ollama.com下载安装ollama 方案优势补充Ollama 是目前主流的轻量级本地大模型部署工具能大幅降低部署门槛‌跨平台兼容‌支持 Windows、macOS、Linux 全主流操作系统无需复杂的环境依赖配置‌极简操作‌仅需几条命令就能完成开源模型的拉取、启动和运行普通用户也能快速上手‌资源友好‌内置量化优化机制普通配置的个人电脑16G内存入门级显卡也能流畅运行7B参数级别的主流开源模型‌隐私安全‌完全在本地离线运行数据不会外传适配敏感业务场景的合规需求‌生态完善‌默认提供兼容OpenAI规范的API服务可快速对接各类本地AI应用、开发工具拓展性极强如果你需要从零开始完成本地部署也可以参考官方指引一步步完成安装、模型拉取和运行操作。这个模型有很多选择你想要用的模型比如下面