站点图标 高效码农

为什么顶尖AI创业者都在放弃微调?上下文工程正在重塑智能边界

为什么聪明的AI创业者,都在放弃“微调模型”?

——一场关于“上下文工程”的革命,正在悄悄改变AI世界的逻辑。


§

一、一个被“模型”耽误的创业梦

故事的主角叫 Peak。
他是一个有着10年自然语言处理(NLP)经验的老兵,技术一流,满腔热血。几年前,他和伙伴创办了一家AI公司,想要打造一款“能听懂人话”的智能助手。

听起来是不是很熟悉?那时候,几乎所有AI团队都在干同样的事——“自己训练模型”,也就是所谓的微调(Fine-tuning)

他们相信,只要模型够强、参数够多、指标够漂亮,离“颠覆世界”就不远了。

结果呢?

Peak的公司几乎被模型“拖死”了。
每一次微调,都要花上1到2周。模型刚训练完,产品方向又变了。
当他们还在调参数、跑显卡、追求那0.01%的准确率时,市场早就换了玩法。

“我们不是被竞争对手干掉的,而是被自己的模型拖垮的。”Peak后来回忆。

他意识到,真正的陷阱不只是“时间”,而是——僵化
模型一旦被微调,就像被“定死”在某个时代。
你以为自己造出了一把屠龙宝刀,可第二天巨头发布了新武器——多模态MCP,让“飞天”才是潮流,你那把宝刀瞬间成了废铁。

那一刻,Peak懂了:

“在AI时代,速度比完美更重要。”

于是,当他创立新公司 Manus 时,他彻底换了思路:
——不再赌模型,而是赌“上下文”。


§

二、赌“上下文”?这听起来有点玄

别急,我们来拆开看。

所谓“上下文工程(Context Engineering)”,其实是让AI更聪明地用已有模型,而不是自己去造一个。

打个比方:

  • “微调模型”就像教一个厨师重新学做菜。
  • 而“上下文工程”,更像是在给他准备一个智能厨房——所有食材、工具、配方都随手可得。

Peak的逻辑是:

“大模型是巨头的地盘,我们赢不了;
但怎么‘用好模型’,那才是我们的护城河。”

换句话说,巨头造“脑子”,创业公司造“记忆”与“环境”
AI模型懂语言,但上下文工程,决定了它能不能理解世界。


§

三、“上下文”的悖论:聪明反被聪明误

这时候登场的是另一个角色:LangChain 的创始人 Lance。

他提到了一个非常形象的困境——上下文悖论

“AI要解决复杂任务,就得记得更多;
但记得越多,它反而越笨。”

比如一个智能Agent要完成任务,可能需要调用几十次工具、读上百万个Token的文本。
可一旦上下文太长,模型开始“疲劳”——反应变慢、回答重复、甚至“忘词”。

Peak称这种现象为 “上下文腐烂(Context Rot)”
他们发现,即便模型理论上能看100万字,超过20万字后性能就开始“变味”。

你以为模型变笨了?
其实,它只是“被信息淹没”了。


§

四、破解魔咒的四根支柱

为了让AI又聪明又高效,Peak团队和LangChain总结出了四个关键技巧,可以说是“上下文工程”的四根支柱:

1️⃣ 上下文卸载(Offloading)

别让AI背太多包。
当AI搜到一大堆网页,不要全塞进去——
只要告诉它“文件在这儿”,等它真要看时再去读。
就像学生考试带着参考书,但不提前背完所有章节。

2️⃣ 上下文检索(Retrieving)

AI不是记忆怪。
我们可以把历史信息存在外部“笔记本”(比如数据库),
需要时再查回来,这就是RAG或向量检索的原理。

这一步,让AI有了“长时记忆”。

3️⃣ 上下文隔离(Isolation)

一个AI太忙会崩溃,那就多雇几个。
把任务拆成多个小Agent,每个Agent只看自己那一页笔记,互不干扰。
这样团队效率反而更高。

4️⃣ 上下文缩减(Reducing)

核心中的核心:在“腐烂”发生前主动减负。

Peak团队在这里堪称艺术家——
他们设计了“压缩 + 摘要”的双刀流。


§

五、压缩与摘要:让AI“忘得刚刚好”

压缩(Compaction),就像打包文件。
把可以重建的信息外放,只留路径。
比如:不塞整篇内容,而是留个“file.txt”。
——这样“减重”但不“失忆”。

摘要(Summarization),是主动遗忘。
当上下文实在太长,就总结成一段话,删掉原文。
虽然不可逆,但能大幅减轻负担。

Manus的秘诀是:

  • 设置“腐烂闹钟”:上下文到128K时,就开始“压缩”。
  • 再胖也先运动,不行才节食。
  • “压缩”只动最老的50%,保留最新的例子,让AI别忘了自己刚干啥。
  • “摘要”时,先用原文做总结,再删,保证信息准确。

这就像给AI设计了一套“科学减肥法”,
让它既不变笨,又能反应快。


§

六、在流沙上造城:五次重构的觉悟

你可能会问:
“听起来很复杂,这值得吗?”

Peak笑了:“值得,但也痛苦。”

从3月到现在,他们已经重构了5次系统
因为模型世界变化太快——Anthropic、OpenAI、MCP……新接口、新模式层出不穷。
但Manus的系统仍然稳。

为什么?
因为他们的逻辑,不是绑定模型,而是围绕上下文逻辑

Peak甚至提出了一个让人意外的观点:

“用开源模型,反而可能更贵。”

原因在于:
Agent的输入远大于输出,核心成本是“记忆管理”——也就是KV缓存。
像Anthropic这种大厂,已经为分布式KV缓存做了巨额优化,反而更便宜。

这就像你自己养服务器种菜,成本未必比去超市买便宜。


§

七、终章:构建更少,理解更多

经历了被“模型”束缚、被“上下文”启发的两段旅程后,Peak终于悟出了AI时代的哲学:

“最大的突破,不是构建更复杂的系统,
而是删掉多余的层,让模型更容易理解人。”

Manus的信条是:
“Build less, understand more.”
——构建更少,理解更多。

这句话,听起来像极了人类智能进化的真谛。


§

🧩 所以呢?(The “So What?”)

如果你是开发者,这篇故事的启示是:
别急着微调模型,先问问自己:你的上下文工程够好吗?

如果你是普通读者,这背后的意义是:
AI的聪明,不在于“学了多少”,
而在于它是否学会了忘

未来的AI革命,不是堆更多算力,
而是让机器像人一样,
知道——什么该记,什么该放下。


§

结语:
在AI的浪潮里,Manus和Peak代表了一种“逆向思考”:
当所有人都在加料、堆叠、卷模型时,
他们选择减负、清理、优化理解。

也许,这才是真正的“智能”:
不是更大,而是更懂。

退出移动版