Agent 开始介入排查线上问题并自助解决实践篇
小轲

前言

常规的线上问题进群后,一般就是几件事:看日志、查库、翻代码、查配置,最后把排查结果贴回话题。

这些事情本身不复杂,麻烦的是信息比较分散。日志在一个平台,数据库在另一个平台,配置又分成好几套,相关的聊天记录也都在飞书里。一个问题如果从头跟到尾还好,中途换个人接手,往往又得把前面的过程重新过一遍。

我有点受不了经常在群里回复「稍等,我看下日志」了 😅,于是弄了个机器人,叫研发小智,底层用的是 OpenClaw,直接接入飞书话题群。

目前 研发小智 进了两个群:一个研发助手群,一个技术支持群。大家在各自的话题里提问,研发小智 就在对应的话题里查日志、查数据、分析问题,最后把结果也回复在原来的话题里。

最开始其实很简单,只接了日志查询和数据库查询两个命令。用了一段时间后,发现光有这两个还不够,于是陆续把配置、代码、接口路由、群消息等能力也接了进来。

下面记录一下目前这套东西的实现。

目前的能力和边界

能查哪些东西

现在接入的查询能力大概有这些:

查询内容 使用方式 权限和限制
日志 日志查询 CLI 两个区域;单次最多 100 条;返回前先打码
线上数据库 只读库查询 CLI 只读通道;只允许 SELECT;必须带 LIMIT
房间网络 OLAP 查询 CLI 查询会话网络表,只读
ES ES 查询 CLI 测试和生产共四套环境;客户端直接拦截 PUT / DELETE / POST
配置 配置查询 CLI 分为热配置和配置文件两套;只允许 GET;password、token 等字段统一替换为 [REDACTED]
代码 工作区代码镜像 一百多个仓库,只拉默认分支;沙箱没有代码平台 token,只能查看,不能 fetch、push
接口路由 路由追踪 skill 从前端 URL 一直追到 Nginx、Gateway 和具体服务;内置 prod、pre、stage 三套路由快照
群消息 群消息读取 CLI 只能读取白名单群里最近活跃的话题;普通图片下载到工作区后,通过 read 查看

这里面配置查询稍微特殊一些。

平时大家说配置有问题,实际可能指的是热配置、配置文件,也可能是数据库里的某个字段。这几种东西对应的是不同的查询入口,如果一开始就找错了地方,后面的分析就容易跑偏。

所以我专门在 skill 里加了判断规则:先确定问题涉及哪一类配置,再选择对应的查询方式。

日志查询也是类似的思路。研发小智 不需要人先告诉它应该搜什么关键字,而是先去代码里找相关的 log.info、log.error,看看业务执行过程中打印了哪些信息,再拿这些关键字去日志平台查。

数据库也一样,先根据问题判断应该查哪个库,而不是随便找一个库执行 SQL。

另外,日志和查询结果都有数量限制,单次最多返回 100 条。没必要把几千条日志全部塞进模型上下文,不仅浪费 token,也容易让真正有用的信息被淹没。

整体调用关系如下:

image

所有查询命令都在沙箱容器里执行,一个话题对应一个容器。涉及线上数据修改的工具则走独立通道,不和查询环境混在一起。

这样做的原因很简单:查询能力可以尽可能开放,但修改线上数据的权限必须单独控制。

有些事情还是不能让它做

目前我的原则比较明确:查询可以放开,修改必须受控。

具体分三种情况:

  1. 查询: 日志、SELECT、ES、配置、代码,都通过只读命令执行。
  2. 修改数据库: 研发小智 只负责生成 SQL 和后续复核,实际执行仍然走人工工单。
  3. 修改线上数据: 只能调用目录里已经登记过的修复工具,不能自己编写操作命令。

另外,所有 skill 都是人工编写的,挂载到容器后也是只读的。

研发小智 不能自己创建 skill,也不能因为处理过某个案例,就把案例自动变成新的工具。碰到现有工具解决不了的问题,只能继续交给人处理。

这里我比较在意的是权限边界。模型可能会判断错误,也可能给出看起来合理但实际上不正确的结论。

如果只是查错了,最多浪费一些时间;但如果给了它写权限,风险就大得多了。

所以线上写权限不交给模型,是目前这套方案里比较明确的一条底线。

群里的交互

群里的交互分成两部分:执行过程和最终回答。

执行过程是我自己写的一个插件,用来展示当前话题调用了哪些工具。

这里没有直接修改飞书官方插件包,而是通过插件钩子把进度卡片接进去。之前考虑过 fork 官方包,但后续每次升级都要重新合并,维护成本比较高。

每次工具调用,卡片就追加一条记录,例如:

  • 执行 日志查询 16:04:12
  • 执行 只读库查询 16:04:19
  • 执行失败 ES 查询 16:04:25:超时

这里刻意不展示工具参数,因为参数里经常会带有敏感信息。

还有几个实现细节:

  • 单次卡片刷新超过 4 秒,就放弃本次刷新,不影响实际工具执行。
  • 卡片最多保留 12 行,超出后删除最早的记录。
  • 工具执行失败也会记录,方便知道具体卡在哪一步。

最终回答则使用飞书自己的流式卡片,不会把模型的思考过程直接展示出来。

回答格式目前是固定的:

1
2
3
4
5
结论:是什么,或者不是什么
证据:trace、时间窗、行数、commit
推断:没有证据支持的内容,明确标记为推断
下一步:还需要查什么,或者应该找谁
建议:现有功能能不能解决,能就写入口,不能就明确说明

回答结束后,会自动 @ 提问的人。

另外还做了一个小功能:在话题里说「加急」,就会切换到更快的模型;说「用默认模型」则切回来。这个设置只影响当前话题,不会影响其他人的会话。

实现时还专门处理了否定表达,比如「别加急」「不要用默认模型」,避免只匹配关键词导致误切换。

两个群的使用规则也不完全一样:

  • 研发助手群: 可以直接对话,处理完成的话题会自动整理成案例。
  • 技术支持群: 必须 @研发小智 才会响应,案例也需要有人明确说「总结」才会整理。

技术支持群的限制会更严格一些。发布、部署、修改权限、提供可直接执行的线上命令,这些操作一律不做。如果有人试图获取 研发小智 使用的账号密码,也会直接拒绝,然后继续处理正常的问题。

案例怎么沉淀和复用

如果每次遇到问题都从头开始查,那 研发小智 的价值其实会打不少折扣。

所以我又给它加了案例沉淀和向量召回。

在自动整理的群里,话题处理完成后会把排查过程整理成案例,保存在工作区的 memory/cases/ 目录下。

目前有两个整理时机:每个回合结束时整理一次,另外在 36 小时没有新消息时再整理一次。

案例主要记录这些内容:

  • 根因
  • 处理办法
  • 已证实的信息
  • 尚未证实的信息
  • 对应的 SOP

这里有个要求:没有证据的根因不能直接写成结论。暂时无法确认的内容,就放在「尚未证实」里,后续封存也不能把推测自动变成定论。

下次遇到类似问题时,会先通过 embedding 检索历史案例,再把相关内容放进当前话题的上下文。

召回有几个限制:

  • 最多召回 3 条。
  • 相似度低于 0.42 的不召回。
  • 总内容不超过 720 字。
  • 当前话题自己刚生成的案例不参与召回。

最后这一点是为了避免当前话题把自己刚写的内容又检索回来。

召回数量也没有设置得太大。历史案例只能作为排查线索,不能让模型因为之前遇到过类似问题,就直接套用上次的结论。

另外,案例封存后,如果有人重新在话题里发消息,话题会重新进入进行中状态。

需要强调的是,案例只是给模型提供参考,不会自动生成新的 skill,也不会因为积累了案例就获得额外权限。

整体过程如下:

image

部署上的几个细节

最后说一下部署。

目前所有查询命令都在 Docker 容器里执行。容器里只放了 Python、git、Node 三样东西,以及一个只读工作区。

Gateway 自身代码、宿主机密钥和 Docker 套接字都不会挂载进去。需要使用的密钥通过环境变量注入,不提交到 Git,也不允许出现在模型回复里。

每个容器的内存上限是 1GB。即使某个话题把内存吃满,也只会影响当前容器,不会把其他话题一起拖死。

容器回收策略是:

  • 空闲 3 小时自动回收。
  • 最长运行 7 天。

回收的只是容器本身,代码镜像、历史案例和会话数据都保留在宿主机上。下次有新消息时,再重新创建容器即可。

还有一个比较容易忽略的问题:飞书插件原本是按整个群串行处理消息的。

也就是说,A 话题正在查日志,B 话题即使是完全独立的问题,也只能排队等着。

为了解决这个问题,我给插件打了一个补丁,改成按话题派发任务。这样不同话题就可以同时执行查询了。

不过这个补丁和插件版本绑定,升级后需要重新打一次。如果忘记处理,就会退回到整个群串行的状态。


目前 研发小智 还在持续迭代,现阶段最主要的工作还是补充查询能力、完善各类问题的排查流程,以及收紧线上操作的权限边界。

相比单纯接一个大模型 API,我觉得真正花时间的地方反而是这些周边工作:怎么让它知道去哪里查、怎么把不同系统的数据串起来、怎么避免查错,以及怎么保证它不会因为一次判断失误就直接影响线上业务。

 评论
评论插件加载失败
正在加载评论插件