1924_千问A3B模型实用性的体验

最近新买了一个电脑就是为了体验一些比较小的模型可以在本地部署的感觉。最近这几天在我自己的电脑上把千问的 3.6-35B-A3B 这个大模型给部署上了。选择的量化版本是 IQ3 的量化版本而且是支持 MTP 的。目前的使用体验感觉还是比较丝滑流畅的每秒钟的 Token 数能够稳定在 80 以上。幅值能够超过 100 Token 每秒。像这种参数规模的大模型可能本来在推理能力以及编码能力方面就不是特别突出。加上各种量化的技术可能会损失一些精度这样就会带来更为劣势的体验。怎么把这种模型的能力充分发挥出来呢我觉得一个比较好的方式就是使用 Agent。有了这个 Agent一方面是它可以实现一些从需求到开发到测试逻辑上的闭环。另外就是可以实现连续的对话不断的改进。我先是尝试了把这个模型接入到了 Codex进行了一些简单的小任务的处理感觉完成的效果还是可以的。但是目前使用 Codex 处理相应的内容的时候感觉效率上不是特别高。我也把这个模型接入到了字节跳动的 TRAE 软件开发框架之中尝试让它分析了一些代码。代码分析的最终结果我没有仔细看但是感觉分析出来的内容从形式还有丰富度上至少是有一定的提示价值。之前看过一些别人整理的 DeepSeek 的教程其中有一部分人是把 DeepSeek API 接入到了 VS Code 的一些插件之中。典型的插件有 Cline 还有 Continue。从交互形式上我感觉我比较喜欢 Cline 的风格于是这次我也尝试了把模型接入到这个插件之中。实现了几个小功能之后感觉这个模型还是能够在我的生产力上提供一些加速的能力的。当时之所以选择这个模型就是因为这个模型支持全模态所以后续我可能会在会议记录分析办公文件处理等各个方面尝试去发掘一些新的使用模式。其中会议记录的分析我个人的想法是使用它作为一个大脑中枢配合一些其他的小工具来完成整个的功能。比如说使用千问的语音转文字的功能把相应的文字信息提取出来。使用 FMPEG 把视频中的一些屏幕信息截取下来。之后再使用 A3B 的模型把这些信息统一整理一下。毕竟 A3B 本身是一个多模态的它既可以处理文字又可以处理我截图下来的图片。通过这种方式配合起来或许可以实现会议纪要的自动化处理。当然目前这个还只是一个初步的设想是不是能够实现以及实现之后它的效果究竟是什么样子这些还有待于后续的探索。但是目前这个模型简单的表现给了我很大的期待。