本文分类：news发布日期：2025/12/27 22:29:42
相关文章
批处理优化技巧：最大化TensorRT的GPU利用率
批处理优化技巧：最大化TensorRT的GPU利用率
在现代AI服务部署中，一个常见的尴尬场景是：服务器配备了A100这样的顶级GPU，监控面板上显存占用却始终徘徊在30%以下，计算单元频繁空转。明明算力充沛，吞吐量却上…
建站知识
2025/12/27 22:29:38
kubuntu安装迅雷
从manjaro中转来的，终于搞定迅雷，记录如下：
1. 安装flatpak： sudo apt install flatpak
2. 配置软成仓库：flatpak remote-add --if-not-exists flathub https://dl.flathub.org/repo/flathub.flatpakrepo
3. 安装…
建站知识
2025/12/27 22:29:19
VLLM学习-推理阶段generate
1. 实例
先看最顶层的代码，输入包含（提示词，生成参数），传入generate函数中：2. LLM 类中的 generate 函数
断言： 首先会进行一系列的断言。请求构建： 如果我们有多个 Promptÿ…
建站知识
2025/12/27 22:29:17
Java毕设项目推荐-基于springboot的校园二手交易平台闲置物品 旧课本、笔记本电脑、健身器材、生活用品【附源码+文档，调试定制服务】
博主介绍：✌️码农一枚 ，专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者，博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围：&am…
建站知识
2025/12/27 22:28:55
Docker容器化部署：轻松运行TensorRT镜像环境
Docker容器化部署：轻松运行TensorRT镜像环境
在智能摄像头、语音助手和推荐系统这些实时性要求极高的AI应用背后，一个共同的挑战浮出水面——如何让训练好的深度学习模型在生产环境中跑得又快又稳？尤其是在边缘设备或云端服务器上处理高并发…
建站知识
2025/12/27 22:28:45
灰度发布策略：平稳上线TensorRT优化后的模型
灰度发布策略：平稳上线TensorRT优化后的模型
在AI服务日益追求低延迟、高吞吐的今天，一个看似微小的性能提升，可能直接决定用户体验是否“丝滑”——比如推荐系统响应慢了200毫秒，用户点击率就下滑5%。而当你的深度学习模型已经训…
建站知识
2025/12/27 22:28:42
无需重训练！使用TensorRT镜像直接优化已有模型
无需重训练！使用TensorRT镜像直接优化已有模型
在AI产品从实验室走向生产部署的过程中，一个常见的困境是：模型在训练时表现优异，但一旦上线，推理延迟高、吞吐量低、资源占用大，导致用户体验下降甚至系统不可…
建站知识
2025/12/27 22:28:37
当代糊弄学巅峰：如何用AI写完你的年终总结，并让你老板热泪盈眶
面对空白的文档光标闪烁，你即将解锁职场终极技能：用AI把一年的摸鱼时光，编织成令老板动容的奋斗史诗。深夜十一点，办公室的灯光下，张伟对着电脑屏幕上只有“2025年度工作总结”几个字的文档发呆。过去一年的记忆如同碎…
建站知识
2025/12/27 22:28:30
