智能体保障 SRE
SRE(Site Reliability Engineering,站点可靠性工程) 用软件工程的方法保障线上服务可靠:定义用户能感知的可用性目标,用监控守住这条线,用自动化消掉重复劳动,用受控变更减少人为故障,并在每次事件后留下能交接、能复盘的记录。
炎龙智能 Agentic AIOps 用智能体运维保障 SRE。监控大屏负责看见指标,智能体保障 SRE 负责把巡检、根因、容量、配置变更和处置做完,并交给当班的人确认。官网把这套能力概括为四项:AI 智能体巡检、AI 智能体根因分析、AI 智能体智能化配置、AI 智能体自愈。控制台里对应的是定时巡检、根因分析、容量风险单、值班排班和审批,而不是另起一套只给人看的告警列表。
智能体保障 SRE 守住哪几件事
| SRE 实践 | 可靠性上要的结果 | 智能体运维怎么保障 |
|---|---|---|
| 可观测性 | 症状来自指标、日志和链路 | Prometheus、Zabbix、Grafana、Loki、SkyWalking 等组件智能体纳管,告警经 Webhook 入库 |
| 告警质量 | 值班看见的是事件,不是噪声 | 业务组归并、语义聚合、静默、曲线形态识别,再由根因智能体出结论 |
| 事件响应 | 缩短从告警到可执行结论的时间 | 根因分析组、多智能体并行诊断、五通道通知、同一上下文追问 |
| 值班协同 | 告警找得到当班的人 | 值班计划、排班日历、值班墙;有人值班时只通知值班人 |
| 减少琐事 | 重复检查不再占用资深工程师 | AI 智能体巡检、Skills、AI 天穹、工作流 |
| 容量规划 | 在资源打满之前动手 | AI 智能体容量预测,生成可跟踪风险单 |
| 变更安全 | 误改不直接进生产 | 智能化配置走确认与审批;特权命令和变更类 SQL 留痕 |
| 交接与复盘 | 下一班接得上,事后说得清 | 巡检报告、根因单据、风险单、审批状态、操作日志 |
智能体在可靠性闭环中的位置
flowchart LR
A[组件智能体取数] --> B[告警归组与降噪]
B --> C[根因智能体分析]
C --> D[通知当班 SRE]
E[巡检智能体] --> D
F[容量预测智能体] --> G[风险单]
D --> H[审批后的配置与处置]
G --> H
H --> I[记录可交接]
人仍然决定是否变更、是否扩容、是否升级。智能体保障 SRE 的方式,是把重复的采集、归并、初判和报告先做完,高危动作留在审批之后。
1. 组件智能体接着已有监控
SRE 的可靠性信号通常已经在 Prometheus、Zabbix、Grafana、日志和链路上。平台按组件提供专门智能体,对话式查询和分析这些信号,不要求拆掉现有监控。
已落地的智能体覆盖主机、数据库、中间件、云原生和可观测组件,例如:
- 主机与计算:Linux、Windows、网络设备、vCenter、阿里云 ECS
- 数据库:MySQL、PostgreSQL、Oracle、SQL Server、达梦、金仓、openGauss、OceanBase、ClickHouse、MongoDB
- 中间件:Redis、Kafka、RabbitMQ、RocketMQ、Elasticsearch、ZooKeeper、Nacos、Nginx、EMQX
- 云原生与研发:Kubernetes、GitLab、Jenkins
- 可观测:Prometheus、Zabbix、SkyWalking、Loki
业务组把一条链路上的多个组件智能体编在一起。一次故障涉及主机、缓存和数据库时,由协调智能体拆任务、子智能体在各自实例上取数,再汇总成一份结论。未纳管的资源无法诊断。官网组件方案中的其余类型,按交付打开对应智能体后即可纳入同一套 智能体保障 SRE 的流程。
分析结论可以回传企业现有运维主平台。已有监控继续负责采集和阈值,本平台作为智能增强层。
2. AI 智能体根因分析:告警变成事件
错误预算会被两类事情消耗:真实故障,以及把人从睡眠里叫起来的无效告警。智能体先处理第二类里可以自动完成的部分,再对保留下来的事件做根因分析。
- 时间窗口归组:同一业务组、同一时段的相关告警合并成一个分析组。
- 语义聚合:重复或同源告警不再各开一单。
- 静默与升级:维护窗口可静默;严重级别上升时再通知。
- 曲线形态识别:尖峰和毛刺降权,周期潮汐视为正常波动,缓增缓降交给容量风险,陡升陡降优先进入根因分析。
- 根因单据:分析组给出根因摘要、处理建议、风险等级和审批状态。该场景以诊断和建议为主,不直接执行删文件、改权限等破坏性操作。
通知渠道为短信、邮件、飞书、钉钉、企业微信。飞书还可在群聊或私聊里选择作用域、审批危险操作,并接收巡检异常。
3. 值班墙和排班:告警找得到人
SRE 的响应速度取决于谁在班上。平台把通知对象和值班计划绑在一起:
- 值班计划与排班日历:按班次安排人员。有人值班时,告警只发给通知配置与当前值班人的交集。
- 无人值班时的兜底:可发给通知配置里勾选的全部人员,避免空窗期没有接收人。
- 值班墙:集中看当前值班、活跃告警、告警分级、巡检覆盖和告警趋势。
- 交接:分析组、巡检报告和风险单都留在系统里,下一班不必靠口头复述故障背景。
从告警详情、巡检记录或实例页进入 AI 天穹时,会带上当前上下文。根因追问模式的作用域由告警本身确定,换班的人可以直接接着问。
4. AI 智能体巡检:把清单变成报告
重复的健康检查是 SRE 里最典型的琐事。巡检智能体按业务组或实例定时执行,覆盖 Linux、MySQL、Kubernetes 等已纳管对象,只读检查后生成巡检报告。
- 支持自然语言辅助生成 Cron,定时任务与巡检配置一起保存。
- 巡检失败,或报告里出现异常项时,发送告警通知。
- 报告可以继续跳进 AI 天穹追问,也可以提交审批。
- Skills 把 Linux、MySQL、Kubernetes、网络设备和等保检查收成可复用技能包,凭证在运行时注入,不进入对话明文。
巡检智能体负责覆盖和留痕。是否构成业务事故,仍由当班 SRE 判断。
5. AI 智能体容量预测:打满之前给出风险单
很多可靠性事故不是突发宕机,而是磁盘、CPU、内存、IO 或网络缓慢顶满。容量预测按指标训练,在曲线上区分历史实测和预测,并按规则在预测峰值达到阈值时生成风险单。
风险单带有风险等级、预测对象、预测故障时间和审批状态,便于在打满前安排扩容、清理或限流。预测依赖已经接入的资源指标,给出的是干预窗口,不代替容量评审和采购决策。
6. 智能化配置与受控自愈
官网把配置和自愈列为智能体运维的两项核心能力。在生产使用上,它们都受审批约束,避免一次误改消耗错误预算。
| 方式 | 智能体做什么 | 人确认什么 |
|---|---|---|
| Quick | 只生成命令或语句 | 必须点击「运行」才执行 |
| Deep | 自动规划并取数 | 写操作和特权命令必须审批 |
| 特权 SQL | 只读查询可直接执行 | DDL / DML 走审批,并用 ShowDiff 对比差异 |
| 自愈 | 匹配预案,巡检异常通知可带上自愈信息 | 生产默认人机协同;全自动无人值守不默认开放 |
安全开关可按环境开启命令校验、特权阻断、限流和审计。审批记录用于说明谁在什么时间批准了什么。智能化配置因此是「智能体给出方案、SRE 批准后落地」,不是绕过变更制度。
7. 可靠性目标如何被智能体接住
SRE 用三类约定管理可靠性:
- SLI(服务等级指标):用户能感知的测量,例如可用性、延迟、错误率。
- SLO(服务等级目标):一段时间内 SLI 应达到的目标,例如 30 天可用性 99.9%。
- 错误预算:100% 减去 SLO 之后,还允许消耗的不可靠额度。预算充足时可以加快变更;预算见底时优先止血。
智能体保障 SRE 不单独签订 SLO,也不替代错误预算的统计口径。SLI 仍以现有监控里的定义为准。智能体接住的是目标被突破之后的动作:
- 组件智能体读取 Prometheus、Zabbix 等已有信号,不另造一套指标。
- 归组、语义聚合和形态识别减少无效告警对值班注意力的占用。
- 容量预测在资源类指标恶化前生成风险单。
- 审批和 ShowDiff 减少变更类故障。
- 根因报告、巡检记录、值班墙和操作日志留下复盘材料。
服务协议(SLA)仍由业务和客户约定。平台提供的是守住这些约定时需要的智能体诊断、通知、巡检和审计。
一名值班 SRE 可以这样用
- 班前:打开值班墙,看当前班次、未关闭告警、巡检覆盖和容量风险单。
- 告警到达:先看根因分析组,阅读智能体给出的摘要和建议,必要时在同一上下文追问。
- 需要动环境时:Quick 模式确认后执行低风险操作;重启、配置变更和变更类 SQL 走审批。
- 班中空档:把重复步骤补进知识库、技能包或工作流,让下一次同类事件仍由智能体先跑一遍。
- 交接:把分析组、巡检报告、风险单和审批记录留给下一班。排班日历决定下一班谁接收新告警。
管理员侧的准备是:纳管实例、为组件绑定智能体、编排业务组、配好告警源和值班计划,并按角色收紧菜单与审批权限。多租户之间的实例、告警、巡检和智能体配置互相隔离,适合同一套平台为多个客户值守。
能力边界
- 智能体只能分析已纳管实例、已配置智能体和当前账号权限范围内的对象。
- 根因分析给出建议和证据,不默认执行修复。
- 容量预测依赖已采集指标,不能覆盖尚未接入的业务 SLI。
- 自愈预案可以匹配和受控执行;全自动无人值守需要单独评估后才启用。
