随着AI大模型的爆火在全球范围内引发了一场AI“狂飙”也在业界点燃了一场百模大战。基于近两年我在大模型领域的实践经历想为在校学生/行业新人提供一些转型到大模型领域的建议。首先你可以在求职网站搜索一下“大模型”关键词看一下招聘JD基本可以了解现在业内对大模型工程师的需求方向和能力要求。总结一下大致可以分为4类:1.做数据的(大模型数据工程师爬虫/清洗/ETL/Data Engine/Pipeline)2.做平台的(大模型平台工程师分布式训练大模型集群/工程基建)3.做应用的(大模型算法工程师搜/广/推/对话机器人/AIGC)4.做部署的(大模型部署工程师推理加速/跨平台/端智能/嵌入式)如果是你会怎么选 很多人第一眼恐怕会毫不犹豫锁定选项3一门心思要做应用端站在技术最前沿做出老板和用户都能直接感知的核心“产品”。不过我得先给大家浇点冷水在AI算法这行3号位可是相当吃业务经验的。如果你本就是算法老兵比如NLP工程师或者搞语音助手、对话机器人的顺理成章转向相关方向的大模型算法工程师这很自然。把大模型的新方法融入现有业务拿到实在的产出在市场上找这类岗位也相对容易。但如果你是CS方向的实习生/应届生或是跨界转行奔大模型来的3号位未必是最佳起点。别陷入一个误区以为大模型算法工程师就是调调模型、拉拉超参搞搞预训练、微调finetune、指令微调SFT这些。现实是这类核心模型工作只占很小一块一个团队里通常也就个把人专职做或者只是工程师工作的一小部分。注意一点新人进去超过90%都不可能直接上手模型调优。绝大多数情况会让你从配环境、搭链路开始干起然后是做数据、整理数据、清洗数据、分析数据、做调研、写写功能function、工具tools……这些都是基础体力活。干熟、干出色了表现机灵的才可能慢慢接触模型实验。表现更突出的才有机会逐步对接线上业务。甚至有不少人干了好几年还在处理边角料、脏活累活核心业务的门都摸不着。对于刚入行的新人学历背景好的争取进大公司实习转正背景稍弱的不妨考虑中小公司积累业务经验。很多人常常忽略了1、2、4号位。可能觉得学了那么多算法基础、机器/深度学习、了解了大模型回头去做数据有点“屈才”。但我想告诉你1号位其实是更多转行选手更容易上岸的路径。条条大路通罗马并非只有一条独木桥。首先 国外大模型技术目前至少领先国内两年。虽然国内模型雨后春笋般冒出几十上百个真正能打的没几个。究其根本许多关键技术仍未突破。算法本身GPT的秘密已非独家。剩下的关键是什么一是数据二是工程技巧。单说数据。通用大模型训练数据来源哪里找数据质量怎么控如何过滤有毒信息语言筛选与比例如何定数据去重怎么做数据规范化处理如何执行评测集怎么构建这些活既是体力活更是技术活。至于垂直领域如金融、电商、车企的数据构建就更考验功夫了业务数据怎么来数据不够怎么办完全没有数据怎么办高质量微调数据如何构建能把这些问题解决好模型就成功了一大半。因此 当下现状是有经验的数据工程师非常稀缺。再说2号位。 如果你原本就是搞工程的或者对工程感兴趣我比较建议选这个。1和2本质没区别都是服务于大模型业务也叫大模型基础设施建设目的就是让模型训练得更好、跑得更快。这岗位主要干啥计算层面 搞分布式计算、并行计算、高性能计算不少公司这三者也不严格区分。硬件层面 折腾大模型训练集群、GPU集群、CPU/GPU混合集群管着几百上千张卡操心它们的利用率和机器健康状态有没有挂掉的。中小公司这里通常是开发运维一体一人干俩工种。平台层面 做LLMOps也就是pipeline。把数据、模型训练、预测、上线监控打包集成跟着业务团队跑做适配造很多高效高校应为高效的轮子让业务团队用着顺手省去重复开发时间。这块整体在大模型时代稳中有升因为很多从业者是从之前的深度学习平台、大规模机器学习平台转过来的技术代沟相对小。所以对AI工程感兴趣的可选此方向。最后说4号位。 这岗位之前就有但大模型这两年让它尤其火热。为啥部署大模型太烧钱了模型本身延迟就高30B以上的模型对算力、显存要求极高。老板关心啥一方面是大模型产品业务指标要好看方便宣传PR另一方面必须控制成本。大公司、独角兽资源丰厚除外。一般企业里一个P8级别的leader要在公司抓业务、拉资源、找人本就不易。“降本增效”是2023年以来几乎所有公司的主旋律。老板们非常关心你省了多少钱——比如把推理效率提高一倍成本就实实在在地降了一半。回到大模型部署工程师这岗位主要有两大方向云端部署 能做推理加速平台也能跟着业务走做大模型定制化加速比如Owen-7b的加速。还可以搞大模型推理引擎比如搜索/问答的推理引擎核心是在高并发用户场景下保证用户SLO的前提下使劲优化延迟latency和吞吐量throughput。端侧部署 也就是在消费级GPU/NPU以及边缘设备上部署大模型同时让领域大模型小型化推动业务真正落地。总的来说 大模型部署工程师需要掌握工程能力、系统能力并对硬件有一定了解。虽然现在各种推理框架降低了点难度它依然是个很有竞争力的工种。你得懂计算图和算子OP的优化了解各种推理框架的缓存/显存优化策略还得明白LLM结构在运行时的系统架构。这个岗位一般不建议新人入场因为太吃经验了。建议先从2进场然后逐步转到4最后总结一下给准备入场大模型的新人几点小的建议:1.不要只关心finetuneSFTRLHF作为系统性学习是OK的切忌花太多精力。2.想做应用的建议focus到某个垂直领域比如对话机器人问答系统金融/医疗/教育方向找一个具体的场景把它做好做深3.多关心数据data pipeline高质量训练/测试集的构建经验对数据的sense是最直接也是最适合用到未来工作当中的4.大模型不只有算法也可以有工程。大公司拼的都是基建平台是对业务的支撑牛比的infrastrure是大模型产品成功不可或缺的因素以上就是对新手入行LLM的一些建议和分享。如何学习AI大模型作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。
随着AI大模型的爆火在全球范围内引发了一场AI“狂飙”也在业界点燃了一场百模大战。基于近两年我在大模型领域的实践经历想为在校学生/行业新人提供一些转型到大模型领域的建议。首先你可以在求职网站搜索一下“大模型”关键词看一下招聘JD基本可以了解现在业内对大模型工程师的需求方向和能力要求。总结一下大致可以分为4类:1.做数据的(大模型数据工程师爬虫/清洗/ETL/Data Engine/Pipeline)2.做平台的(大模型平台工程师分布式训练大模型集群/工程基建)3.做应用的(大模型算法工程师搜/广/推/对话机器人/AIGC)4.做部署的(大模型部署工程师推理加速/跨平台/端智能/嵌入式)如果是你会怎么选 很多人第一眼恐怕会毫不犹豫锁定选项3一门心思要做应用端站在技术最前沿做出老板和用户都能直接感知的核心“产品”。不过我得先给大家浇点冷水在AI算法这行3号位可是相当吃业务经验的。如果你本就是算法老兵比如NLP工程师或者搞语音助手、对话机器人的顺理成章转向相关方向的大模型算法工程师这很自然。把大模型的新方法融入现有业务拿到实在的产出在市场上找这类岗位也相对容易。但如果你是CS方向的实习生/应届生或是跨界转行奔大模型来的3号位未必是最佳起点。别陷入一个误区以为大模型算法工程师就是调调模型、拉拉超参搞搞预训练、微调finetune、指令微调SFT这些。现实是这类核心模型工作只占很小一块一个团队里通常也就个把人专职做或者只是工程师工作的一小部分。注意一点新人进去超过90%都不可能直接上手模型调优。绝大多数情况会让你从配环境、搭链路开始干起然后是做数据、整理数据、清洗数据、分析数据、做调研、写写功能function、工具tools……这些都是基础体力活。干熟、干出色了表现机灵的才可能慢慢接触模型实验。表现更突出的才有机会逐步对接线上业务。甚至有不少人干了好几年还在处理边角料、脏活累活核心业务的门都摸不着。对于刚入行的新人学历背景好的争取进大公司实习转正背景稍弱的不妨考虑中小公司积累业务经验。很多人常常忽略了1、2、4号位。可能觉得学了那么多算法基础、机器/深度学习、了解了大模型回头去做数据有点“屈才”。但我想告诉你1号位其实是更多转行选手更容易上岸的路径。条条大路通罗马并非只有一条独木桥。首先 国外大模型技术目前至少领先国内两年。虽然国内模型雨后春笋般冒出几十上百个真正能打的没几个。究其根本许多关键技术仍未突破。算法本身GPT的秘密已非独家。剩下的关键是什么一是数据二是工程技巧。单说数据。通用大模型训练数据来源哪里找数据质量怎么控如何过滤有毒信息语言筛选与比例如何定数据去重怎么做数据规范化处理如何执行评测集怎么构建这些活既是体力活更是技术活。至于垂直领域如金融、电商、车企的数据构建就更考验功夫了业务数据怎么来数据不够怎么办完全没有数据怎么办高质量微调数据如何构建能把这些问题解决好模型就成功了一大半。因此 当下现状是有经验的数据工程师非常稀缺。再说2号位。 如果你原本就是搞工程的或者对工程感兴趣我比较建议选这个。1和2本质没区别都是服务于大模型业务也叫大模型基础设施建设目的就是让模型训练得更好、跑得更快。这岗位主要干啥计算层面 搞分布式计算、并行计算、高性能计算不少公司这三者也不严格区分。硬件层面 折腾大模型训练集群、GPU集群、CPU/GPU混合集群管着几百上千张卡操心它们的利用率和机器健康状态有没有挂掉的。中小公司这里通常是开发运维一体一人干俩工种。平台层面 做LLMOps也就是pipeline。把数据、模型训练、预测、上线监控打包集成跟着业务团队跑做适配造很多高效高校应为高效的轮子让业务团队用着顺手省去重复开发时间。这块整体在大模型时代稳中有升因为很多从业者是从之前的深度学习平台、大规模机器学习平台转过来的技术代沟相对小。所以对AI工程感兴趣的可选此方向。最后说4号位。 这岗位之前就有但大模型这两年让它尤其火热。为啥部署大模型太烧钱了模型本身延迟就高30B以上的模型对算力、显存要求极高。老板关心啥一方面是大模型产品业务指标要好看方便宣传PR另一方面必须控制成本。大公司、独角兽资源丰厚除外。一般企业里一个P8级别的leader要在公司抓业务、拉资源、找人本就不易。“降本增效”是2023年以来几乎所有公司的主旋律。老板们非常关心你省了多少钱——比如把推理效率提高一倍成本就实实在在地降了一半。回到大模型部署工程师这岗位主要有两大方向云端部署 能做推理加速平台也能跟着业务走做大模型定制化加速比如Owen-7b的加速。还可以搞大模型推理引擎比如搜索/问答的推理引擎核心是在高并发用户场景下保证用户SLO的前提下使劲优化延迟latency和吞吐量throughput。端侧部署 也就是在消费级GPU/NPU以及边缘设备上部署大模型同时让领域大模型小型化推动业务真正落地。总的来说 大模型部署工程师需要掌握工程能力、系统能力并对硬件有一定了解。虽然现在各种推理框架降低了点难度它依然是个很有竞争力的工种。你得懂计算图和算子OP的优化了解各种推理框架的缓存/显存优化策略还得明白LLM结构在运行时的系统架构。这个岗位一般不建议新人入场因为太吃经验了。建议先从2进场然后逐步转到4最后总结一下给准备入场大模型的新人几点小的建议:1.不要只关心finetuneSFTRLHF作为系统性学习是OK的切忌花太多精力。2.想做应用的建议focus到某个垂直领域比如对话机器人问答系统金融/医疗/教育方向找一个具体的场景把它做好做深3.多关心数据data pipeline高质量训练/测试集的构建经验对数据的sense是最直接也是最适合用到未来工作当中的4.大模型不只有算法也可以有工程。大公司拼的都是基建平台是对业务的支撑牛比的infrastrure是大模型产品成功不可或缺的因素以上就是对新手入行LLM的一些建议和分享。如何学习AI大模型作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。
)
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
