M 模测 › 案例集 › 阿里AAIG实验室AI红队负责人宋奇钊(胖錿)确认出席AICon上海站,分享REAL 智能体统一风险矩阵与自动化红队实践 返回案例集

阿里AAIG实验室AI红队负责人宋奇钊(胖錿)确认出席AICon上海站,分享REAL 智能体统一风险矩阵与自动化红队实践

过去一年,“Agent”这个词从实验室走进了生产环境。工程师们开始真正面对一个新的问题:不是“AI 能不能做到”,而是“我们能不能把它跑稳、跑对、跑出规模”。架构怎么设计?记忆怎么管理?多智能体之间如何协调?研发团队的工作方式又该如何重构?这些,正是 AICon 2026 上海站试图回答的问题。 6 月 26 日-27 日,本次大会将以“构建可信赖、可规模化

2026年6月5日 76 次阅读
InfoQ AI InfoQ 中文

阿里AAIG实验室AI红队负责人宋奇钊(胖錿)确认出席AICon上海站,分享REAL 智能体统一风险矩阵与自动化红队实践

来源:InfoQ AI · 发布于 2026/6/5

过去一年,“Agent”这个词从实验室走进了生产环境。工程师们开始真正面对一个新的问题:不是“AI 能不能做到”,而是“我们能不能把它跑稳、跑对、跑出规模”。架构怎么设计?记忆怎么管理?多智能体之间如何协调?研发团队的工作方式又该如何重构?

这些,正是 AICon 2026 上海站试图回答的问题。 6 月 26 日-27 日,本次大会将以“构建可信赖、可规模化、可商业化的 Agentic 操作系统”为核心命题,集结清华、复旦等知名高校教授,以及来自阿里、腾讯、蚂蚁、字节、快手、小红书、华为、Google Cloud 等数十家头部公司的技术专家登台分享。2 天、13 大专题、1 个动手实验室、近 60 场重磅议题,将深度探讨 Agent 工程化落地等相关话题。

阿里巴巴 AAIG 实验室 AI 红队负责人宋奇钊(胖錿)确认出席 “Agent 安全、评测与可信治理” 专题,发表题为《阿里 AI 红队 - REAL 智能体统一风险矩阵与自动化红队实践》的主题分享。本演讲以生产环境中的 AI 红队体系建设为主线,分三个层次展开:首先介绍 REAL 风险矩阵(R×E@L 三维分类),如何用一个坐标系统覆盖 Agent 全场景风险并对齐国内外主流标准;其次通过一个脱敏的 Prompt 注入跨层攻击链案例,展示矩阵如何指导红队从"漫无目的挖洞"变成"按坐标打靶";最后介绍他们正在建设的基于矩阵驱动的自动化红队架构,如何将专家攻击经验转化为可规模化执行的 Agent 自动化测试。

宋奇钊(胖錿),阿里巴巴 AAIG 实验室 AI 红队负责人,擅长创新型攻防技术研究, 目前深耕智能体安全领域前沿攻击方向研究,提出 REAL Matrix 智能体统一风险矩阵,并赋能 AI 红队体系化建设。宋奇钊于 2020 年加入阿里巴巴集团安全部。在内外部攻防演练中取得多个影响广泛的重大成果并获得十数个奖项。自 2023 年大模型兴起后率先突破多个顶级大模型核心系统,沉淀 AI 安全攻防方法论,并在先知沙龙长沙站与西安站,北京网络安全大会(BCS2025)进行多次 AI 安全主题分享。他在本次会议的详细演讲内容如下:

演讲提纲:

  1. AI Agent 的风险为什么分不清

    Agent ≠ Chatbot:工具调用、多步编排、跨系统权限让风险从"内容安全"扩展到"系统安全"

    行业现有框架的局限:

    OWASP Top 10(LLM/Agentic AI):排名清单,不是分类体系,同一漏洞可归入多条,无法指导测试计划

    MITRE ATLAS:攻击视角的 TTP 目录,覆盖不了幻觉、偏见、功能滥用等非对抗性失效

    核心矛盾:安全团队需要一个既能分类已知漏洞、又能生成测试计划、还能对接合规要求的统一坐标系

  2. REAL Matrix:一个三维坐标系统覆盖 Agent 全场景

    R(Root Cause)— 为什么出事:4 类根因 × 9 子类

    决策树:外部注入(R1)vs 模型自身(R2)vs 基础设施(R3)vs 功能滥用(R4)

    E(Effect)— 出了什么事:4 类影响 × 20 子类

    CIA + S(Safety):系统自身受损(机密性/完整性/可用性)vs 系统输出伤害外部人员(安全性)

    L(Layer)— 在哪层出事:4 层架构

    L1 交互层 → L2 认知层 → L3 执行层 → L0 基础设施层

    攻击链跨层传播标注:同一攻击链的不同步骤在不同 R×E@L 坐标

    验证数据:69 条真实漏洞、37+ Agent 产品、0 遗漏;与 OWASP/MITRE/NIST/CSA 全量对齐;内置 16 部法规 128 条映射

    设计取舍:为什么是三维不是二维?为什么不直接扩展 OWASP?为什么 R2(幻觉)和 R4(滥用)必须独立成类?

  3. Case Study:一条 Prompt 注入如何从 L1 穿透到 L3

    攻击场景还原:

    起点:间接注入(R1.2)— 外部数据源中植入恶意指令,Agent 在 RAG 检索时读入

    穿透:认知层(L2)— 模型将恶意内容当作合法指令,推理链被劫持

    落地:执行层(L3)— Agent 调用工具执行非预期操作(数据外传 / 权限越界)

    用 REAL 坐标标注攻击链:R1.2×C@L2 → R1.2×I@L3,展示同一攻击在不同阶段的 R/E/L 变化

    矩阵如何指导防御定位:不是"加一条规则",而是按层级精确定位:L1 输入过滤、L2 上下文隔离、L3 工具权限最小化

    从个案到体系:这条攻击链映射到 R×E 16 格中的哪个格子?对应哪些法规条款?如何生成回归测试用例?

  4. 从矩阵到自动化红队:让专家经验变成可规模化执行的测试

    当前困境:一个产品一个红队专家,产品线越多人力越紧张,攻击经验无法复用

    架构设计思路:

    矩阵 → 测试条目库:R×E@L 每个格子对应一组测试用例模板

    测试条目库 → Agent 自动化:用 Agent 自动化执行测试用例,替代重复性手工测试

    自动化 → 竞对横评:同一测试集横向跑多个产品,统一标尺对比安全水位

    横评 → 态势感知:Leaderboard 可视化,业务和管理层直观看到水位变化

    技术选型考量:

    为什么用 Agent 做测试 Agent("以 Agent 测 Agent"):测试目标本身是 Agent,需要多步交互、工具调用、上下文维护

    Mobile 端 vs CUA 端的差异化方案

    从攻击研究到自动化的知识转化:专家红队发现新攻击手法 → 编码为测试用例 → 自动化回归

    与人工红队的关系:自动化解决的是"已知风险的规模化覆盖",专家红队聚焦"未知风险的前沿探索",两条线并行、互相赋能

  5. 五合规映射:分类结果如何自动对接监管要求

    R×E 16 格 × 128 条法规映射:测试结果打上 R×E@L 标签后,自动关联适用法规

(摘要已截断,点击下方"查看原文"获取完整内容)

↗ 查看原文 / 完整内容
https://www.infoq.cn/article/VrBbVKeqPHjOi2rdH4Hc?utm_source=rss&utm_medium=article

© 2025 ModTst. All rights reserved. 苏ICP备2026025231号-3 苏公网安备32059002007950号