DeepSeek 开源内部推理框架 DeepInfer，要把大模型服务的成本打下来

1小时前 10 大屏时代

DeepSeek 在10月20日官宣，在已经陆续开源一系列大模型、TileLang 编译工具以及推理算子库之后，决定再往前迈一步——把自家的内部推理框架 DeepInfer 全面开源。

这家公司点明了一个长期被公众忽视的中间层:大模型的能力上限由模型本身划定，但如何以合理成本撑起超大规模的模型服务，真正取决于推理框架。训练让模型"学有所成"，推理则让模型"为人所用"。面对如今海量的用户调用，推理框架负责统筹调度庞大的算力集群，它的效率直接决定了 AI 服务的算力成本与电力消耗。

DeepSeek 想通过公开内部的部署经验，帮开发者与企业组织优化大规模推理的吞吐量与延迟，从而更高效地搭建私有化或公有云部署，压低算力成本、减少能源消耗，让智能以更低的价格触达更广泛的人群，实现它口中的"大模型普惠"。

基于 DeepInfer，DeepSeek 官方已经跑通了 DeepSeek V4.1Flash 的高吞吐、低延迟大规模推理服务;往后，新模型的推理代码和后续优化也会在这个框架里持续更新。

具体来看，DeepInfer 推理框架集成了高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力，并且同时兼容英伟达与华为昇腾两套平台。与之同步开源的，还有 deepseek-recipe 编解码组件——一个生产级的 Token 编解码模块，与 DeepSeek 官方 API 的处理逻辑完整对齐，确保社区拿到的 API 体验和官方部署保持一致。对想自己搭建推理服务的人来说，这意味着不必再从零摸索，直接站在 DeepSeek 的部署经验之上。

相关文章

上一篇：微软让设计师也上手改代码：AI 渗入 Windows 11 开发，老旧界面有望被填平

下一篇： DeepSeek 再掀开源浪潮：内部推理框架 DeepInfer 全面公开，剑指"大模型普惠"

本文地址：https://www.dapingtime.com/article/4420.html