【大屏时代】首页 > 3D快报内容详情

DeepSeek 再掀开源浪潮:内部推理框架 DeepInfer 全面公开,剑指"大模型普惠"

1小时前 11 大屏时代

DeepSeek 当日官宣,在先后放出一系列大模型、TileLang 编译工具与推理算子库之后,进一步把自家的内部推理框架 DeepInfer 全盘开源。这家公司想补上的,是一个长期躲在聚光灯之外的环节——推理框架。

在 DeepSeek 的定义里,模型的能力上限由模型本身决定,但"怎样以合理成本把超大规模模型供出去",靠的是这层中间架构。训练让模型学有所成,推理才让它为人所用。当海量用户同时调用,推理框架负责统筹调度庞杂的算力集群,其效率高低,直接撬动着 AI 服务的算力开销与耗电——它既不像模型权重那样吸睛,却是把实验室能力搬进现实的关键闸口。

开源不只给代码,更要压低用 AI 的价码

DeepSeek 的意图很明确:把内部部署经验摊开,帮开发者与企业组织把大规模推理的吞吐量与延迟优化上去,从而更高效地搭建私有化或公有云部署,压低算力成本、少烧电。一句话,让智能以更便宜的价格触达更多人,兑现"真正的大模型普惠"。

这套框架并非空谈。基于 DeepInfer,DeepSeek 官方已跑通 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务;往后新模型的推理代码与后续调优,也将持续在这里更新。从公开的能力清单看,DeepInfer 集成了高性能算子与深度优化的推理引擎,支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等特性,并且同时兼容英伟达与华为昇腾两大平台——在出口管制倒逼国产替代的当下,这种"双栈通吃"的适配,对国内开发者尤其实在。

与框架同步开源的,还有 deepseek-recipe 这一生产级 Token 编解码组件,处理逻辑与 DeepSeek 官方 API 完整对齐,确保社区拿到的体验与官方部署如出一辙。两份代码已分别托管于 GitHub 的 deepseek-ai/DeepInfer 与 deepseek-ai/deepseek-recipe。

从模型到算子库再到推理框架,DeepSeek 正把"造模型"的全套手艺往开源社区里搬。当算力成本成了 AI 普及的最大门槛,把效率内核交出去,或许比单纯放出几个权重更能撬动生态——毕竟谁能帮行业把每一度电、每一张卡榨出更高产出,谁就握住了普惠叙事里的真正筹码。



相关文章

相关标签: DeepSeek 再掀开源浪潮:内部推理框架 DeepInfer 全面公开,剑指"大模型普惠"