首页 > 3D标签KVCache 相关文章
月之暗面Kimi联合清华大学等开源共建大模型推理架构Mooncake

月之暗面Kimi联合清华大学等开源共建大模型推理架构Mooncake

月之暗面科技有限公司与清华大学MADSys实验室联合发布了一项名为Mooncake的开源项目,旨在共建以KVCache为中心的大模型推理架构。2024年6月,双方曾联合发布Kimi底层的Mooncake推理系统设计方案,该方案基于PD分离和以存换算架构,显著提升了推理吞吐量,受到业界广泛关注。Mooncake项目从论文延伸而来,以超大规模KVCache缓存池为中心,通过以存换算的创新理念减少算力开...

DeepSeek开源3FS文件系统:AI数据处理的“动力引擎” 刷新全球存储性能纪录

DeepSeek开源3FS文件系统:AI数据处理的“动力引擎” 刷新全球存储性能纪录

核心性能:重新定义AI时代存储效率上限在DeepSeek开源周第五天,这家中国AI领军企业正式发布革命性存储系统——Fire-Flyer文件系统(3FS)。作为专为数据密集型AI任务设计的并行文件系统,3FS在180节点集群测试中实现6.6 TiB/s聚合读取吞吐量,较主流Ceph系统提升近3倍;在25节点规模的GraySort基准测试中,以3.66 TiB/min吞吐量刷新全球排序性能纪录。技术...