自建内部 IM,让全部工作流经一条 AI 可读的管道:人人有自己的 Agent,老板有 README,日报周报由 AI 起草。这份蓝图回答三个问题——能不能做、怎么做、坑在哪。
IM 是二十年前就被解决的问题,开源底座现成;RAG、Agent、向量检索也已工程化。中型技术团队 6–9 个月可以走完前四个阶段。
AI 检索必须严格继承"每个人本来能看到什么",否则 AI 会变成越权信息的泄露通道;而聊天语料碎片化,检索质量天然低于文档;最后,员工愿不愿意从微信搬过来,决定一切。
基于开源 IM 二次开发,先站稳"能用";再上公司级 AI 问答;然后才是个人 Agent 与自动日报;Agent 互通放最后。每一步的出口都盖"人审"章。
消息自上而下流动;右侧的权限与审计纵贯所有层——它不是一个模块,而是每一层都要回答的问题。关键解耦点在消息总线:IM 只管把消息可靠送达,AI 全部从总线上消费,两边互不拖累。
原则只有一条:把自研预算留给 AI 层和权限层,其余全部站在成熟方案上。以下均为可私有化部署的选项,数据可以完全不出公司。
| 环节 | 首选 | 备选 | 选型理由 |
|---|---|---|---|
| IM 底座 | OpenIM(Go,为二开而生) | Mattermost · 野火 IM · Zulip | 千万别从零写。Zulip 的话题式消息流对 AI 消化格外友好,值得一看。 |
| 消息总线 | Kafka | NATS JetStream · Pulsar | IM 与 AI 管道解耦的关键;事件可回放,便于重建索引。 |
| 基础存储 | PostgreSQL + Redis + MinIO | MySQL 系亦可 | 消息库按会话分区;Redis 管在线状态与未读数;MinIO 存文件。 |
| 检索层 | Qdrant / Milvus + Elasticsearch | pgvector(千人以下够用) | 必须支持元数据过滤(ACL 在检索阶段生效);向量 + 关键词混合检索。 |
| Embedding | BGE-M3(开源,可私有化) | 各大厂商 Embedding API | 中文语料表现好,自托管则数据不出内网,长期成本低。 |
| 大模型 | DeepSeek / Qwen 系 API(国内已备案) | 私有化部署 Qwen / DeepSeek 开源权重 | 敏感行业直接私有化(需 GPU 投入);日报等简单任务路由到小模型省成本。 |
| 重排序 | BGE-Reranker | 商用 Rerank API | 聊天语料噪声大,粗排后重排对答案质量的提升非常明显。 |
| Agent 编排 | LangGraph / 自研状态机 | Dify(用于快速验证) | 日报这类固定流程用工作流写死;自由问答才交给 Agent 自主规划。 |
| 权限与审计 | 自研统一 ACL 服务 + 全量审计日志 | OpenFGA(关系型授权) | 这是最值得自研的部分:IM 可见性、文档权限、Agent 读取权必须同源。 |
一条主管道把"聊天"变成"可检索的知识";日报与 Agent 预沟通是它上面的两个应用流。凡是内容离开 AI、进入人的视野或对外发出的节点,都盖人审章。
话题时间窗把多条消息聚合成一个语义块再嵌入。单条聊天记录没有语义,这一步对最终效果的影响大于换模型。顺序本身就是风控:先让 IM 站住,再让 AI 上场。每个阶段独立交付价值,任何一步不达预期都可以停在原地止损,前面的投入不作废。
开源选型与私有化部署;打通 SSO 与组织架构同步;消息、群组、文件、基础机器人可用。
验收:核心团队的日常沟通可完全迁入行政推动、领导带头;把审批、公告、打卡提醒等刚需搬进来,给出"非用不可"的理由。同步上线 Kafka 管道、ACL 权限模型与审计日志——先有地基,再谈 AI。
验收:日活 > 90%,微信群只剩闲聊先上一个全公司共用的 RAG 问答机器人,带引用、带权限过滤。目标是让"有问题先问 AI"成为肌肉记忆,同时在真实流量下打磨检索质量。
验收:周人均提问 ≥ 3 次,越权红队测试零泄露每人一个 Agent,老板 README 上线;日报由 AI 起草、本人审核签发,老板侧自动汇总。
验收:日报按时率与员工满意度同时上升开放 Agent 预沟通协议、周报自动汇总,低风险流程逐步放开自动执行。原则:自动化的范围,永远不超过审计能力覆盖的范围。
验收:每一次自动执行都可回放、可追责红线是不可越的制度设计,注意事项是要花钱花人的工程现实。
必须检索前过滤,靠提示词"叮嘱模型别说" = 没有防线。上线前做套话红队测试:用普通员工账号反复追问只在高管群出现过的信息(裁员、薪酬、并购),一条都不能出来。调岗、退群、离职必须即时收敛可见范围。
私聊默认只进本人 Agent,不进公司大脑;规则写进员工手册,明确告知并取得同意(《个人信息保护法》的硬要求)。"一切可被读取"会改变员工说话的方式——透明的规则,比更强的技术更能换来信任。
日报、AI 代答、任何以人的名义发出的内容,一律本人确认后再发出。AI 起草、人签发——出错时责任在人不在 AI,这个归属必须在制度里写死,否则第一次事故就会摧毁全员信任。
技术手段(过滤、审计、标注)只能执行规则,不能代替规则。三条红线对应三类最贵的事故:泄密、员工反弹、责任真空。先把制度写下来,再让代码去实现它。
检索不到就回答"不知道 + 建议问谁";所有回答强制带出处;每周抽查引用的真实性。
聊天语料碎片化、代词满天飞,RAG 效果天然低于整理过的文档。打磨分块策略与时间窗,比升级大模型收益更高。
百人规模走 API 路线,模型费用大致在每月数千到数万元量级(取决于调用量与模型档位);私有化则是一次性数十万级 GPU 投入。用"小模型写日报、大模型答难题"的分级路由控制成本。
选用国内已备案的模型服务,或完全私有化部署,让数据不出内网;留存处理与授权记录以备审计。
自建 IM 历史上大多不是死于技术,而是死于"没人用"。体验不能明显差于飞书,而且必须给出只有自建才有的独占理由——"内部 AI 什么都知道、什么都能帮你查"恰恰就是那个理由。AI 不是这套系统的附加功能,而是员工愿意搬家的原因本身。
按台阶爬:IM 站稳 → 公司 AI → 个人 Agent → Agent 互通。把权限当作第一等公民写进数据里,把"人审"盖在每一个出口上。做到这些,这套系统成立,而且会成为别家抄不走的护城河。