首页 > 3D标签上海AI Lab与上交大抛出NCP预训练新范式,8.9B隐空间模型用一半Token追平对手 相关文章
上海AI Lab与上交大抛出NCP预训练新范式,8.9B隐空间模型用一半Token追平对手

上海AI Lab与上交大抛出NCP预训练新范式,8.9B隐空间模型用一半Token追平对手

上海AI实验室与上海交大LUMIA Lab提出新预训练任务“下一个概念预测”(NCP),推出全球首个8.9B离散隐空间基座模型NCP-ArchPreview。该模型仅用51.3%的Token预算,就在5.73T语料上追平OLMo-3-7B最终预训练Loss,显著提升训练效率。