Shimmy发布:5MB轻量级本地AI模型服务工具,全面兼容OpenAI接口

1个月前 高效码农

什么是 Shimmy? Shimmy 是一个仅有 5.1MB 的超轻量级工具,它能够在本地计算机上提供完全兼容 OpenAI 接口的 AI 模型服务。这意味着你可以使用现有的 AI 工具和应用程序,只 …

仅需24GB显存!普通人如何在笔记本本地运行1T参数Kimi K2大模型?

3个月前 高效码农

把 Kimi K2 装进笔记本:一份写给普通人的本地运行全记录 “ “我想试试那个 1 万亿参数的开源模型,但不知道从哪里开始。” 如果你也有同样的疑问,这篇文章就是给你的。 Unsloth AI 发 …