前言
常规的线上问题进群后,一般就是几件事:看日志、查库、翻代码、查配置,最后把排查结果贴回话题。
这些事情本身不复杂,麻烦的是信息比较分散。日志在一个平台,数据库在另一个平台,配置又分成好几套,相关的聊天记录也都在飞书里。一个问题如果从头跟到尾还好,中途换个人接手,往往又得把前面的过程重新过一遍。
我有点受不了经常在群里回复「稍等,我看下日志」了 😅,于是弄了个机器人,叫研发小智,底层用的是 OpenClaw,直接接入飞书话题群。
目前 研发小智 进了两个群:一个研发助手群,一个技术支持群。大家在各自的话题里提问,研发小智 就在对应的话题里查日志、查数据、分析问题,最后把结果也回复在原来的话题里。
最开始其实很简单,只接了日志查询和数据库查询两个命令。用了一段时间后,发现光有这两个还不够,于是陆续把配置、代码、接口路由、群消息等能力也接了进来。
下面记录一下目前这套东西的实现。
目前的能力和边界
能查哪些东西
现在接入的查询能力大概有这些:
| 查询内容 | 使用方式 | 权限和限制 |
|---|---|---|
| 日志 | 日志查询 CLI | 两个区域;单次最多 100 条;返回前先打码 |
| 线上数据库 | 只读库查询 CLI | 只读通道;只允许 SELECT;必须带 LIMIT |
| 房间网络 | OLAP 查询 CLI | 查询会话网络表,只读 |
| ES | ES 查询 CLI | 测试和生产共四套环境;客户端直接拦截 PUT / DELETE / POST |
| 配置 | 配置查询 CLI | 分为热配置和配置文件两套;只允许 GET;password、token 等字段统一替换为 [REDACTED] |
| 代码 | 工作区代码镜像 | 一百多个仓库,只拉默认分支;沙箱没有代码平台 token,只能查看,不能 fetch、push |
| 接口路由 | 路由追踪 skill | 从前端 URL 一直追到 Nginx、Gateway 和具体服务;内置 prod、pre、stage 三套路由快照 |
| 群消息 | 群消息读取 CLI | 只能读取白名单群里最近活跃的话题;普通图片下载到工作区后,通过 read 查看 |
这里面配置查询稍微特殊一些。
平时大家说配置有问题,实际可能指的是热配置、配置文件,也可能是数据库里的某个字段。这几种东西对应的是不同的查询入口,如果一开始就找错了地方,后面的分析就容易跑偏。
所以我专门在 skill 里加了判断规则:先确定问题涉及哪一类配置,再选择对应的查询方式。
日志查询也是类似的思路。研发小智 不需要人先告诉它应该搜什么关键字,而是先去代码里找相关的 log.info、log.error,看看业务执行过程中打印了哪些信息,再拿这些关键字去日志平台查。
数据库也一样,先根据问题判断应该查哪个库,而不是随便找一个库执行 SQL。
另外,日志和查询结果都有数量限制,单次最多返回 100 条。没必要把几千条日志全部塞进模型上下文,不仅浪费 token,也容易让真正有用的信息被淹没。
整体调用关系如下:

所有查询命令都在沙箱容器里执行,一个话题对应一个容器。涉及线上数据修改的工具则走独立通道,不和查询环境混在一起。
这样做的原因很简单:查询能力可以尽可能开放,但修改线上数据的权限必须单独控制。
有些事情还是不能让它做
目前我的原则比较明确:查询可以放开,修改必须受控。
具体分三种情况:
- 查询: 日志、SELECT、ES、配置、代码,都通过只读命令执行。
- 修改数据库: 研发小智 只负责生成 SQL 和后续复核,实际执行仍然走人工工单。
- 修改线上数据: 只能调用目录里已经登记过的修复工具,不能自己编写操作命令。
另外,所有 skill 都是人工编写的,挂载到容器后也是只读的。
研发小智 不能自己创建 skill,也不能因为处理过某个案例,就把案例自动变成新的工具。碰到现有工具解决不了的问题,只能继续交给人处理。
这里我比较在意的是权限边界。模型可能会判断错误,也可能给出看起来合理但实际上不正确的结论。
如果只是查错了,最多浪费一些时间;但如果给了它写权限,风险就大得多了。
所以线上写权限不交给模型,是目前这套方案里比较明确的一条底线。
群里的交互
群里的交互分成两部分:执行过程和最终回答。
执行过程是我自己写的一个插件,用来展示当前话题调用了哪些工具。
这里没有直接修改飞书官方插件包,而是通过插件钩子把进度卡片接进去。之前考虑过 fork 官方包,但后续每次升级都要重新合并,维护成本比较高。
每次工具调用,卡片就追加一条记录,例如:
- 执行 日志查询 16:04:12
- 执行 只读库查询 16:04:19
- 执行失败 ES 查询 16:04:25:超时
这里刻意不展示工具参数,因为参数里经常会带有敏感信息。
还有几个实现细节:
- 单次卡片刷新超过 4 秒,就放弃本次刷新,不影响实际工具执行。
- 卡片最多保留 12 行,超出后删除最早的记录。
- 工具执行失败也会记录,方便知道具体卡在哪一步。
最终回答则使用飞书自己的流式卡片,不会把模型的思考过程直接展示出来。
回答格式目前是固定的:
1 | 结论:是什么,或者不是什么 |
回答结束后,会自动 @ 提问的人。
另外还做了一个小功能:在话题里说「加急」,就会切换到更快的模型;说「用默认模型」则切回来。这个设置只影响当前话题,不会影响其他人的会话。
实现时还专门处理了否定表达,比如「别加急」「不要用默认模型」,避免只匹配关键词导致误切换。
两个群的使用规则也不完全一样:
- 研发助手群: 可以直接对话,处理完成的话题会自动整理成案例。
- 技术支持群: 必须 @研发小智 才会响应,案例也需要有人明确说「总结」才会整理。
技术支持群的限制会更严格一些。发布、部署、修改权限、提供可直接执行的线上命令,这些操作一律不做。如果有人试图获取 研发小智 使用的账号密码,也会直接拒绝,然后继续处理正常的问题。
案例怎么沉淀和复用
如果每次遇到问题都从头开始查,那 研发小智 的价值其实会打不少折扣。
所以我又给它加了案例沉淀和向量召回。
在自动整理的群里,话题处理完成后会把排查过程整理成案例,保存在工作区的 memory/cases/ 目录下。
目前有两个整理时机:每个回合结束时整理一次,另外在 36 小时没有新消息时再整理一次。
案例主要记录这些内容:
- 根因
- 处理办法
- 已证实的信息
- 尚未证实的信息
- 对应的 SOP
这里有个要求:没有证据的根因不能直接写成结论。暂时无法确认的内容,就放在「尚未证实」里,后续封存也不能把推测自动变成定论。
下次遇到类似问题时,会先通过 embedding 检索历史案例,再把相关内容放进当前话题的上下文。
召回有几个限制:
- 最多召回 3 条。
- 相似度低于 0.42 的不召回。
- 总内容不超过 720 字。
- 当前话题自己刚生成的案例不参与召回。
最后这一点是为了避免当前话题把自己刚写的内容又检索回来。
召回数量也没有设置得太大。历史案例只能作为排查线索,不能让模型因为之前遇到过类似问题,就直接套用上次的结论。
另外,案例封存后,如果有人重新在话题里发消息,话题会重新进入进行中状态。
需要强调的是,案例只是给模型提供参考,不会自动生成新的 skill,也不会因为积累了案例就获得额外权限。
整体过程如下:

部署上的几个细节
最后说一下部署。
目前所有查询命令都在 Docker 容器里执行。容器里只放了 Python、git、Node 三样东西,以及一个只读工作区。
Gateway 自身代码、宿主机密钥和 Docker 套接字都不会挂载进去。需要使用的密钥通过环境变量注入,不提交到 Git,也不允许出现在模型回复里。
每个容器的内存上限是 1GB。即使某个话题把内存吃满,也只会影响当前容器,不会把其他话题一起拖死。
容器回收策略是:
- 空闲 3 小时自动回收。
- 最长运行 7 天。
回收的只是容器本身,代码镜像、历史案例和会话数据都保留在宿主机上。下次有新消息时,再重新创建容器即可。
还有一个比较容易忽略的问题:飞书插件原本是按整个群串行处理消息的。
也就是说,A 话题正在查日志,B 话题即使是完全独立的问题,也只能排队等着。
为了解决这个问题,我给插件打了一个补丁,改成按话题派发任务。这样不同话题就可以同时执行查询了。
不过这个补丁和插件版本绑定,升级后需要重新打一次。如果忘记处理,就会退回到整个群串行的状态。
目前 研发小智 还在持续迭代,现阶段最主要的工作还是补充查询能力、完善各类问题的排查流程,以及收紧线上操作的权限边界。
相比单纯接一个大模型 API,我觉得真正花时间的地方反而是这些周边工作:怎么让它知道去哪里查、怎么把不同系统的数据串起来、怎么避免查错,以及怎么保证它不会因为一次判断失误就直接影响线上业务。