Checkpoint Engine:大型语言模型推理引擎中的模型权重更新中间件

1个月前 高效码农

你有没有想过,在运行一个参数规模达万亿的大型语言模型时,如何快速更新模型权重,而不中断推理过程?在强化学习场景下,模型需要频繁迭代,这往往成为瓶颈。Checkpoint Engine 就是为此而生的工 …

用句号提速大模型?华为新算法SepLLM让AI推理快50%!

3个月前 高效码农

用“句号”提速大模型:SepLLM 如何把一整段话压进一个标点里 当你对着手机说“帮我写一封邮件”时,大模型其实在做一道“阅读海量文字 → 找到关键信息 → 生成回复”的高数题。题目越大,算力消耗越像 …