直接结论：一张完整的 AI Agent 架构图，至少要画清七类信息：用户输入、Agent 运行时、LLM 推理决策、Memory 状态、RAG 知识检索、Tools 行动能力、MCP 外部连接，以及贯穿全链路的权限、评估和可观测性。它不是把几个热门缩写排成一条流水线，而是说明数据从哪里来、由谁决策、调用什么能力、状态写到哪里、何时停止或转交人工。
很多人在搜索“AI Agent架构图”“AI智能体架构图”或“RAG、MCP和Agent的关系”时，会看到一排从左到右的方框：LLM → Memory → RAG → Tools → MCP。这个画法容易理解，却并不准确。LLM 是推理引擎；Memory 管理任务状态和历史；RAG 是按需获取外部知识的方法；Tools 负责查询、计算或执行；MCP 则用标准协议把 AI 应用与外部工具和数据源连接起来。它们不是同一层级，也不一定按固定顺序各运行一次。
本文将用一张总览图、四张主题图、一套五步画法和真实协作画布示例，帮助产品经理、AI应用开发者、解决方案架构师和技术团队快速完成可评审、可迭代的 Agent 架构图。你也可以进入 Boardmix博思白板，把文中的组件直接整理到无限画布中，与团队共同补充接口、权限和异常分支。
一、AI Agent架构图是什么？
AI Agent架构图是对智能体系统组件、职责边界和运行关系的可视化表达。它既要回答“系统由什么组成”，也要回答“任务如何运行”。普通大模型应用可能只完成一次输入和一次生成，而 Agent 通常会经历理解目标、规划下一步、调用工具、读取结果、更新状态、再次判断，最后输出或请求人工处理。
因此，AI Agent架构图通常包含两种视角：
- 静态组件视角：展示 LLM、Agent Runtime、Memory、RAG、Tools、MCP Server、数据库和业务系统分别位于哪里。
- 动态执行视角：展示一次任务如何在“推理—行动—观察—再推理”之间循环，以及何时结束、失败或进入人工审批。
如果只画组件而没有箭头，读者不知道系统怎么运行；如果只画流程而没有边界，又无法判断数据、权限和责任归属。实用的智能体架构图应把两种视角结合起来。
二、一张图看懂LLM、Memory、RAG、Tools与MCP
上图可以从中间向外阅读：Agent Runtime 是任务的控制中心，负责维护运行循环、组装上下文、解析模型输出、执行工具调用并判断是否结束；LLM 位于运行时内部或由运行时调用，负责理解、推理、规划和生成候选动作。Memory、RAG、Tools 与 MCP 则分别解决“记住什么”“去哪里找知识”“怎样执行动作”和“怎样标准化连接”的问题。
1. LLM：负责理解与决策，不等于整个Agent
LLM（大语言模型）是智能体的推理引擎。它读取指令、用户输入、当前状态和工具说明，决定下一步是直接回答、继续规划还是调用工具。按照 OpenAI Agents SDK 的定义，一个 Agent 通常由模型、指令、工具以及可选的 handoff、guardrails 和结构化输出组成。因此，“Agent = LLM”并不准确，LLM 更像其中负责判断的核心组件。
画图时，可以把 LLM 放在 Agent Runtime 内部，并在旁边标注三项职责：理解目标、选择动作、生成结果。模型供应商或具体模型名称属于部署配置，不应和业务工具混在同一层。
2. Memory：保存状态、历史与可复用经验
Memory 用来保存智能体在当前任务或跨任务中的状态。短期记忆可能包括对话历史、当前计划、已完成步骤和工具返回结果；长期记忆则可能包括用户偏好、历史任务摘要、可复用经验和持久化状态。
画 Memory 时，要写清存储对象、读写时机和保留周期。例如：“每轮读取任务状态，工具执行后写入观察结果，任务结束后只保留摘要”。如果只写一个 Memory 方框，却不说明哪些数据能被长期保存，架构图无法用于隐私和权限评审。
3. RAG：按需检索外部知识，为回答提供依据
RAG（检索增强生成）解决的是模型知识不够新、不够私有或缺少来源的问题。常见流程包括查询改写、向量或关键词检索、结果过滤与重排、上下文组装，再由 LLM 基于检索结果生成答案。
在固定 RAG 流程中，系统每次都按预设步骤检索；在 Agentic RAG 中，检索被封装为工具，由 Agent 判断是否检索、查哪个数据源、是否需要再次查询。Microsoft Azure Architecture Center 将其概括为“把检索作为工具”，并强调动态选源、查询拆解和迭代补充信息。
4. Tools：让Agent从“会回答”变成“能行动”
Tools 是智能体可调用的函数、API 或受控操作，例如搜索资料、查询订单、执行计算、生成文件、读取日历或提交工单。工具不是越多越好。每个工具至少应标注名称、用途、输入参数、返回格式、权限等级、超时与失败处理。
画 Tools 时，建议按能力分组：检索工具、计算工具、业务工具和执行工具。读操作与写操作要使用不同颜色或边框，涉及发送、删除、支付、权限变更的动作应增加人工确认节点。
5. MCP：标准化连接层，不是Memory、RAG或Agent的替代品
MCP（Model Context Protocol，模型上下文协议）采用 Host—Client—Server 架构。Host 是承载 AI 能力的应用并控制连接权限；每个 Client 与一个 Server 建立会话；Server 对外提供 Tools、Resources 或 Prompts 等能力。一个 AI 应用可以同时管理多个 Client，分别连接文件系统、数据库、企业知识库或第三方服务。
MCP 解决的是“怎样用统一方式暴露和发现能力”，而不是替代 RAG 或工具本身。RAG 检索可以被封装为 MCP Tool；数据库也可以通过 MCP Server 提供查询能力。画图时应把 MCP 放在 Agent 与外部能力之间，并单独画出权限边界。
三、Memory、RAG、Tools与MCP到底有什么区别？
| 组件 | 核心职责 | 输入 → 输出 | 画图时重点标注 |
|---|---|---|---|
| LLM | 理解目标并选择下一步动作 | 指令、上下文、工具说明 → 文本或结构化动作 | 模型边界、上下文来源、输出协议 |
| Memory | 保存任务状态、历史与经验 | 历史、状态、观察结果 → 可恢复的上下文 | 读写时机、保留周期、隐私边界 |
| RAG | 从外部知识源获取可靠证据 | 查询、过滤条件 → 带来源的相关内容 | 索引、重排、引用与无结果分支 |
| Tools | 执行查询、计算或业务操作 | 结构化参数 → 结果、状态或错误 | 读写权限、超时、重试与审批 |
| MCP | 标准化连接并发现外部能力 | 协议请求、能力协商 → Tools、Resources、Prompts | Host、Client、Server与安全边界 |
最容易混淆的是 Memory 与 RAG。判断方法很简单：如果信息属于“这次任务进行到哪里、用户之前怎样选择”，通常归入 Memory；如果信息属于“产品文档、企业制度、研究资料中写了什么”，通常通过 RAG 或其他检索工具获取。两者可以使用相同的存储技术，但承担的系统职责不同。
四、AI Agent架构图怎么画？5步完成
第1步：先写任务目标与成功条件
不要从画 LLM 方框开始。先写清智能体要为谁完成什么任务，以及什么结果算成功。例如“根据内部产品资料回答售前问题，并为低置信度答案创建人工跟进任务”。这句话已经限定了知识来源、输出形式和人工边界。
同时标记关键约束：允许访问哪些数据、能否写入业务系统、最长响应时间、是否需要引用来源、哪些动作必须确认。目标与约束会决定后面是否需要 RAG、Memory、MCP 和人工审批。
第2步：划分输入、决策、知识、行动与输出五个区域
在画布上从左到右建立五个区域：输入、Agent决策、知识与状态、工具与连接、输出。先划责任边界，再放组件，可以避免把模型、数据库和业务系统混在一起。
- 输入区：用户问题、文件、事件或定时任务；
- 决策区：Agent Runtime、LLM、规划、路由和终止条件；
- 知识区：Memory、向量库、文档库和检索服务；
- 行动区：Tools、MCP Client/Server、内部API和第三方服务；
- 输出区：回答、报告、业务操作、人工任务或失败提示。
第3步：画出主流程和推理循环
先画一条最短成功路径：输入 → Agent → 输出；再补充 Agent 内部循环：组装上下文 → LLM判断 → 调用工具 → 返回观察结果 → 更新状态 → 再次判断。循环箭头是 Agent 架构区别于普通单次生成流程的关键。
每条箭头最好用动词命名，例如“读取状态”“检索资料”“调用接口”“返回证据”“写入结果”。避免只画无含义的连线。
第4步：补充异常、权限与人工接管
生产环境中的 AI智能体架构图必须展示失败路径。至少检查：检索无结果怎么办、工具超时是否重试、参数不合法如何处理、模型置信度不足是否转人工、写操作是否需要审批，以及循环达到上限后怎样停止。
建议用红色虚线表示异常，用菱形表示判断，用人物图标表示 Human-in-the-loop。安全边界应覆盖身份认证、最小权限、敏感信息处理和审计日志，而不是只在图角落写一个“安全”方框。
第5步：用真实任务走查并添加观测指标
选择一个真实问题，从输入开始逐节点检查：每一步由谁执行、需要什么数据、产生什么结果、失败后去哪里。随后补充可观测指标，例如工具选择准确率、检索命中率、调用次数、端到端时延、Token消耗、失败率和人工接管率。
如果团队成员无法根据图定位一次错误发生在哪个节点，说明架构图还不够可执行。
五、三种常见AI智能体架构怎么选？
1. 单Agent + Tools：适合边界清晰的任务
一个 Agent 负责理解、规划和最终输出，并按需调用少量工具。它结构简单、调试成本低，适合资料查询、报告生成、工单分类等目标相对明确的场景。工具数量增加后，要重点关注工具描述、权限和选择准确率。
2. Agentic RAG：适合多数据源和复杂检索
当问题需要查询多个知识库、根据中间结果继续检索，或同时进行检索与业务操作时，可以采用 Agentic RAG。Agent 会决定调用哪个检索工具、是否拆解查询、结果是否足够，以及何时生成最终答案。它比固定 RAG 更灵活，但也会增加延迟、成本和评估难度。
3. 多Agent架构：适合职责可独立拆分的复杂任务
多Agent架构通常由协调者分配任务，专业 Agent 分别负责研究、分析、写作或校验，再由主控 Agent 汇总。画图时必须说明是“主控 Agent 把其他 Agent 当工具调用”，还是通过 handoff 把任务控制权转交给另一个 Agent。不要因为任务复杂就默认增加 Agent；固定工作流能解决的问题，优先使用更可预测的流程。
六、MCP架构图应该怎样画？
MCP架构图建议从三个边界展开：
- Host边界：标明 AI 应用、模型、权限策略和用户确认界面；
- Client连接：一个 Client 对应一个 Server 会话，负责能力发现、请求和结果传递；
- Server能力：分别列出 Tools、Resources 和 Prompts，以及它们连接的真实数据源或系统。
还要标出认证凭据在哪里保存、哪些操作需要用户批准、服务器是否可信、能访问哪些目录或数据。OpenAI Agents SDK 的 MCP 指南明确提醒：MCP 工具可能读取上下文数据，也可能使用提供的凭据执行动作，因此应只连接可信服务器、使用最小权限，并对敏感操作设置审批。
七、如何用Boardmix绘制AI Agent架构图？
AI Agent架构通常需要产品、算法、后端、安全和业务团队共同确认。使用 Boardmix 在线白板，可以把需求、组件图、时序关系、接口说明和评审意见放在同一张无限画布上，减少架构图与说明文档相互脱节。
实际绘制时可以这样组织：
- 用分区或容器框划分用户端、Agent运行时、知识层、工具层和外部系统；
- 用矩形表示组件、菱形表示判断、圆柱表示存储，用不同线型区分读取、写入和异常；
- 把接口、Schema、权限等级和负责人写在节点旁，而不是塞进节点名称；
- 邀请开发、安全和业务负责人分别评论，确认数据流、权限边界和人工接管条件；
- 评审完成后保留版本，并继续扩展为部署图、时序图或故障排查图。
如果需求说明已经较完整，也可以先用 Boardmix AI生成流程图 生成初始结构，再由团队人工校正组件职责、箭头方向与异常分支。AI适合加速初稿，不应替代架构决策。
立即使用Boardmix，在线绘制并协作评审AI Agent架构图。
八、AI Agent架构图检查清单
- 是否写明任务目标、用户、成功条件和范围？
- 是否区分 Agent Runtime 与 LLM，而不是把两者画成同一个方框？
- Memory 保存哪些状态，何时读取、写入和清理？
- RAG 查询哪些数据源，是否包含过滤、重排、引用和无结果分支？
- 每个 Tool 的输入、输出、权限、超时和失败方式是否明确？
- MCP 是否画清 Host、Client、Server 与真实外部系统？
- 写操作、敏感数据和高风险动作是否设置人工批准？
- 是否存在最大循环次数、超时、降级和人工接管路径？
- 是否记录日志、Trace、成本、延迟、工具选择和任务成功率？
- 团队能否用一个真实任务沿图走完成功与失败路径？
九、AI Agent架构图常见问题
AI Agent架构图必须包含哪些组件？
至少应包含输入、Agent Runtime、LLM、Memory、RAG或其他知识来源、Tools、输出，以及权限、异常和可观测性。是否使用 MCP、多Agent或向量数据库，取决于具体任务，不是必选项。
RAG和Memory有什么区别？
Memory 主要保存任务状态、对话历史和可复用经验；RAG 主要从外部知识库检索与当前问题相关的证据。一个回答可以同时读取 Memory 了解上下文，再调用 RAG 获取最新或私有资料。
MCP和Tools是什么关系？
Tool 是 Agent 可以调用的一项具体能力；MCP 是外部系统向 AI 应用标准化提供 Tools、Resources 和 Prompts 的协议。工具可以直接集成，也可以通过 MCP Server 暴露。
什么时候需要多Agent架构？
当任务可以拆成相对独立的专业职责、需要并行处理或需要明确交接时，可以考虑多Agent。若步骤固定且结果要求可预测，普通工作流或单Agent通常更简单。
可以用AI自动生成Agent架构图吗？
可以先让 AI 根据需求生成组件和连线初稿，但必须由架构、业务与安全负责人核验。重点检查组件层级、箭头方向、工具权限、数据保留、异常分支和人工接管，避免图形完整但系统逻辑错误。
十、相关指南与下一步
根据当前任务继续阅读：
十一、参考资料与使用边界
本文根据截至2026年9月可访问的公开技术文档整理，用于解释通用架构关系，不代表某个框架的唯一实现。具体系统仍应以所用模型、Agent框架、MCP版本、业务权限和安全要求为准。
- OpenAI Agents SDK：Agents
- OpenAI Agents SDK：Tools
- OpenAI Agents SDK：Model Context Protocol
- Model Context Protocol：Architecture
- Microsoft Azure Architecture Center：Agentic RAG
- Anthropic：Building Effective Agents
粤公网安备44030502008643