首页 > 3D标签8GB显存也能玩转128K超长上下文!开源本地大模型工具Strata 0.2. 10 发布 相关文章
8GB显存也能玩转128K超长上下文!开源本地大模型工具Strata 0.2. 10 发布

8GB显存也能玩转128K超长上下文!开源本地大模型工具Strata 0.2. 10 发布

开源本地AI工具Strata发布0.2.10版,专为消费级显卡优化。本次更新聚焦降低显存门槛、提升推理速度和优化多显卡协同,使普通电脑运行千亿参数大模型更轻松。亮点是显存大幅瘦身,8GB显卡也能支持128K超长上下文,而以往8GB显存开启64K以上上下文常受限制。整体让本地大模型部署更低门槛、更高效。