ADAS: Automated Design of Agentic Systems
自动化智能体系统设计（ADAS）是一个新兴研究领域，旨在自动发现和设计强大的智能体系统，包括发明新的构建块和/或以新的方式组合它们。本文提出的 Meta Agent Search 算法通过在代码空间中搜索，让元智能体迭代编程出更好的智能体。
来源: arXiv:2408.08435 — Hu, Lu, Clune (UBC/Vector Institute), ICLR 2025
核心思想
机器学习的历史表明，手工设计的解决方案最终会被学习到的解决方案取代（如 HOG → CNN，手工损失函数 → 学习损失函数）。ADAS 将这一规律延伸到智能体系统：手工设计的 prompt、工作流和工具组合应该被自动搜索发现的方案取代。
ADAS 三要素
| 组件 | 说明 |
|---|---|
| 搜索空间 | 定义哪些智能体系统可以被表示和发现（如仅 prompt、图结构、代码） |
| 搜索算法 | 定义如何探索搜索空间（如 RL、迭代生成、进化） |
| 评估函数 | 定义如何评估候选智能体（性能、成本、延迟、安全性） |
代码空间搜索的关键优势
- 图灵完备：理论上可以发现任何可能的智能体系统
- 可解释性：代码比权重或图结构更易审计
- 利用现有生态：可直接搜索 LangChain 等框架中的组件
- FM 擅长编码：搜索空间与 FM 能力高度对齐
Meta Agent Search 算法
- 用基线智能体（CoT、Self-Refine 等）初始化档案库
- 元智能体基于档案库生成新想法并实现代码
- 通过两次 self-reflection 确保新颖性
- 在验证集上评估，出错则 self-refine 修正（最多 5 次）
- 将新智能体加入档案库，循环继续
实验结果
| 任务 | 关键结果 |
|---|---|
| ARC 逻辑谜题 | 渐进发现超越手写基线的智能体 |
| DROP 阅读理解 | F1 提升 13.6/100 |
| MGSM 数学 | 准确率提升 14.4% |
| 跨域迁移 | 从数学迁移到阅读理解仍超越基线 |
| 跨模型迁移 | GPT-3.5 发现的智能体在 Claude Sonnet 上达到 48.3% ARC 准确率 |
重要发现
- 发现的智能体具有强迁移性：在跨域、跨模型时仍保持优越性能
- 搜索过程中出现了垫脚石效应：早期的突破不一定立即提高性能，但为后续发现提供了基础
- 超越了仅优化 prompt 的方法（如 OPRO），证明学习所有组件的重要性
Timeline
- 2024-08: 论文发表 arXiv:2408.08435
- 2025: 在 ICLR 2025 正式发表
- 2026-04-13: 整理进 KB