周宸宇提出：智能体进化需要全新的 Model-Harness 耦合视角。模型参数扩张提升基础能力，但场景适配成本同步上升；外部 Harness 承载工具、记忆、工作流、API、协议与 Skill 库，是快速适配真实环境的核心支撑。图中「外部化」与「内化」形成闭环——有价值的交互轨迹经蒸馏回注模型，成功模式逐步内化为模型原生能力。
按拍摄时间顺序整理的 24 张现场胶片，对应周宸宇在 Agent Harness 闭门研讨会上的完整分享。前半部分为 Harness 外化理论框架（Memory / Skill / Protocol），后半部分介绍 LatentSkill 方法与实验。
引用认知科学家 Donald Norman 的观点：认知制品不改变人类能力，而是改变任务本身。外部化将跨时间状态放到 Memory、将任务流程写成 Skill、将交互结构化为 Protocol，Harness 负责调度、权限、观测、控制与反馈。底部技术图谱将 PaLM、GPT-4、RAG、MCP 等归入 Weights / Context / Harness 三层，展示社区重心从权重层向 Harness 层迁移。
Memory 外化解决智能体的「时间负担」。四层外化状态依次为：Working Context（当前任务活跃中间态）、Episodic Experience（先前运行记录）、Semantic Knowledge（跨 episode 的抽象知识）、Personalized Memory（用户/团队/环境的稳定信息）。架构图展示从原始上下文经分层编排、OS 式热冷交换到 Harness 集成的完整链路。反复出现的程序性规律可从情景轨迹提升为显式 Skill。
Skill 外化解决「每次临场重构工作流」的负担，将操作步骤、决策启发式与规范约束固化为可复用工件。获取路径包括人工编写、从记忆蒸馏、环境探索发现与组合构建；运行时 Memory 提供情境证据，Tools/Protocols 提供执行接口，Skill 组织任务流程。页底抛出开放问题：Skill 作为程序性知识载体，运行时是否必须以文本形式注入 context？
Protocol 层回答「外化 Memory 和 Skill 如何进入世界」。演进路径从孤立 Model Call → API Hardcoding → 标准化 Protocol（MCP、A2A、Function Calling）→ Agentic Web。Harness 通过 Interact（对接外部 API 与工具）、Perceive（感知环境与反馈）、Collaborate（与 LLM/Agent/人类协作）三支柱管理外化交互，Memory 外化「学了什么」，Skill 外化「怎么做」，Protocol 是二者进入现实的通道。
全场核心论断：Agent = Model + Harness。Harness 不是外围插件，而是 Agent 赖以思考与行动的认知环境——Skills、Memory、Protocols 三簇能力围绕 Harness 核心展开，向外延伸到 Sandbox、Sub-agent 编排、可观测性与审批环路。右侧时间轴（2022→2026）显示社区热点从 Pretraining / Fine-tuning 的权重层，逐步上移到 Context Engineering，再到 MCP、Tool Ecosystems 等 Harness 层。
进入「外部化智能应用实践」章节。演讲从潜空间视角重新审视智能体技能的理解、控制与组合问题，提出从 Externalized Skills 到 Latent Skills 的演进方向。这是 Harness 外化理论向工程落地的过渡页，为后续 LatentSkill 方法铺垫。
对比两种技能整合路径：Textual Skill 将 skill.md 注入 prompt，可读可编辑但带来重复 token 开销、明文暴露与粗粒度使用；Latent Skill 经 compiler 编译为 LoRA adapter 挂载到模型，以参数影响行为，具备低运行成本、低安全风险与细粒度使用优势。这是 LatentSkill 方案的问题动机页。
LatentSkill 核心：不再让模型每步读取 skill 文本，而是用 compiler Gφ 将 skill 文档映射为 LoRA 更新 Δs，通过参数影响模型行为。公式展示从 p(y|h,s) 到 pθ⊕αΔ(y|h) 的条件转换，以及 W' = W + (α/r)BA 的挂载形式。α 控制 skill 注入强度，实现从 prompt 级文本条件到 weight 级参数条件的范式切换。
第一阶段让 compiler 建立 text → adapter 的基础映射。数据来自 GitHub、SkillsMP 等 17 万+ 真实 skill 文档（约 3 亿 token），构造自监督重构与补全任务：完整 skill → adapter → 还原原文，或 prefix → adapter → 补全全文。仅更新 compiler Gφ，冻结 backbone，先学会把程序性知识从文本写入权重，形成可承载 skill 的 latent adapter。
第二阶段让 adapter 把静态 skill 表示对齐到真实 agent 行为。以 OpenAI o3 为 teacher model，在带 skill 标注的交互轨迹上监督微调：每步根据 history/observation 模仿 teacher 的 reasoning 与 action，同一 adapter 贯穿多步交互，学到稳定的 skill-level policy。目标是从承载程序性知识的 adapter，变成能驱动 agent 行为的潜在能力模块。
以冻结 Qwen3-8B 为 backbone，对比 In-context Skill（同一定义注入 prompt）与 LatentSkill（compiler → LoRA adapter 挂载）。基准测试覆盖 ALFWorld（6 类多步家务交互，评成功率/步数/token 成本）与 Search-QA（7 个搜索问答数据集，评 EM 与 token 成本）。Skill 按任务类别匹配，ALFWorld 测试 140 seen + 134 unseen episode，每 episode 最多 50 步。
LatentSkill 在 ALFWorld 上全面领先各 baseline。Seen 平均成功率从 52.9% 提升至 74.3%，Unseen 从 56.0% 提升至 69.4%；Prefill token 从 1.2k 降至 0.44k，因 skill 不再每步重复注入 context。平均路径更短、决策更高效——改进作用于多步决策过程本身，而非仅最终答案。
Search-QA 上 LatentSkill 平均 EM 从 32.6 提升至 35.6，每步 token 成本从 1.10k 大幅降至 0.31k。关键不在分数微增，而是保留了分解问题、构造查询、整合证据等策略性行为——证明 latent 表示能在降本的同时维持复杂搜索策略，而非退化为简单检索。
分析 hypernetwork 生成的 ΔW 的 Frobenius 范数与 stable rank：不同 skill 的幅度接近，compiler 输出稳定；Stable Rank 仅约 2.2，SFT 后进一步降低。奇异值能量高度集中——Top-2 约 67–71%，Top-5 约 93%，SFT 后更集中。结论：LatentSkill 将程序性知识压缩为低秩、紧凑、可分析的 latent adapter。
权重空间可视化显示 ALFWorld 与 Search 技能形成不同聚类区域，LatentSkill 捕获的不只是词面相似。域外技能（Code、Finance、Writing）也能形成紧致结构，说明 compiler 学到了可泛化的程序性知识表示。核心主张：让 skill 不再只是 prompt 文本，而是可被度量、比较和分析的潜在能力对象。
通过 LoRA scaling 系数 α 连续调节 skill 对模型行为的影响。性能随 α 呈「倒 U 型」曲线——存在有效注入区间，适中 scaling 最佳，过强会破坏原模型能力。不同任务最优 α 不同，弱 baseline 往往需要更强 skill。Harness 不仅要选择哪个 skill，还要选择介入强度——从 prompt 级的是否加载，升级为 weight 级的强度控制。
以 Look 为目标 skill、引入 Pick 的搜索能力，对比五种组合配置。朴素直接合并 LoRA 或拼接文本会在 Unseen 上产生行为冲突（61.1% < 72.2%）；语义组件对齐的 Component Merging 达 84.6% / 77.8%，较 Look-Only 提升 +23.1 / +5.6 个百分点。LatentSkill 可在 LoRA 空间组合多技能，但有效组合依赖语义组件对齐，而非简单相加。
在 skill 文本扰动（改写、重排、噪声）与对抗攻击（Hijack、Extract）下，LatentSkill 显著优于 In-context 方案。Hijack 攻击下 ALFWorld 成功率：In-context 跌至 8.57%，Latent 仍保持 38.6%。因 skill 以编译后的 LoRA 表示运行、不暴露明文，既抗表面形式变化，也降低被劫持覆写或抽取的风险。
沿 Context → Weights → Backbone 光谱定位三种技能范式：Textual Skill（可读可编辑但 token 贵、明文暴露）、LatentSkill（移出 prompt、可插拔可缩放可组合，需 compiler）、Fine-tuned Skill（运行便宜但难删除难更新难审计）。LatentSkill 占据中间地带——在保留外化灵活性的同时，向内化靠拢，是外化与内化之间的平衡点。
四个平台级价值：①更低成本——长程任务不再每步重复读取 skill text；②更低暴露——skill 不以明文出现在 prompt 或日志中；③更好治理——adapter 可插拔、可缩放、可组合，便于版本管理与灰度 A/B；④新产品形态——从交付 Markdown（分发即暴露）转向交付 LoRA adapter，技能成为可授权、可计费、可撤回的标准化模块。
三大演化方向并行推进：Model 自演化（能力自感知、自生成改进数据、自训练闭环）；Harness 自演化（克服人工工程难规模化、静态脚本退化、模型能力演进快于外部封装）；主动交互（从被动接指令到主动预测用户需求，将上下文工程负担从用户转移给 agent）。这是综述层面的未来研究议程，呼应开篇的耦合视角。
二维坐标描绘智能体从 L1 合规执行到 L3 主动预判与自我进化的路径。L1 具备短期记忆、简单规划与有限工具调用；L2 引入终身个性化记忆、多智能体协议与通用表征；L3 迈向主动交互、多模态交互与自主学习。纵轴为自主运行程度与交互成本，横轴为能力等级——技术演进的方向是降低交互成本、提升自主性。
演讲收尾页，展示周宸宇的联系方式：chenyuzhou@sjtu.edu.cn，主页 https://0xzhouchenyu.github.io。背景融入上海交大标志性建筑与校训「饮水思源 · 爱国荣校」。整场分享从 Harness 外化理论框架出发，经 LatentSkill 方法与实验验证，收束于 Model-Harness 协同演化的未来路线图。
