AI Agent智能会议纪要辅助系统
项目简介:基于LangChain+LangGraph的AI Agent智能会议纪要辅助系统 包括会议管理 资料管理 音视频转写 说话人分离 会议纪要生成 Agent自检更正 Agent运行观测等。
本项目覆盖的技术点
学完能答的面试题
学完这个项目,下面 26 道面试题你都能结合项目细节讲出来。题目在 AIGC 面试刷题网可以免费看。
系统架构
一张图看清整个系统的分层与核心链路,点开可缩放查看细节。
- 1接入层:员工 + 管理员员工建会议、传录音视频、看转写、编辑纪要、发起自检;管理员维护部门账号、四类用途模型、Prompt 和运行观测中心。
- 2长音频转写链路FFmpeg 提单声道 16kHz 音轨并按 20 分钟切段,每段异步识别并开说话人分离;时间叠加前面分段时长拼回,说话人标签加分段前缀。
- 3说话人匹配:模型只给建议参会名单和前 120 段发言交给模型推荐人选,后端过滤掉不存在的标签和名单外的人,人点采纳才保存。
- 4长转写分段提取再合并按 12000 字符切段,每段提取一份结构化结果,多段再用合并模板去重,最终拆成摘要和五个 JSON 数组分别入库。
- 5LangGraph 反思环 Agent审查、重写、汇总三个节点加两条条件边,审查分完整性和可落实性两组标准,最多两轮;通过或零问题就结束,否则按问题清单改一版再复核。
- 6人工确认是唯一写出口修订稿只存在
revised_json,人点覆盖才写回纪要,放弃要填原因;确认接口用状态作条件更新,两人同时点只有一个成功。 - 7中断恢复与观测中断后从
current_round和上次的修订稿续跑,服务重启重新调度遗留任务;ai_call_log记录六类模型调用。
技术栈
用到的框架、中间件和模型。
技术难点与解法
每一项优化都针对一个真实问题,讲清楚问题、做法和背后的原理。
01让模型自己查、自己改纪要
- 问题
- 只生成一次,决策缺负责人、缺时间、漏记都发现不了;让模型自己改,又可能越改越短、改出原文没有的内容。
- 做法
- LangGraph 状态图编排审查、重写、汇总三个节点:审查输出
passed、score、issues,通过或挑不出问题就结束,否则把问题清单交给重写,没到上限就回到审查复核。 - 原理
- 重写几轮由模型的审查结论决定,代码只兜住上限;问题带
field和index定位到具体条目,重写有的放矢。
02Agent 改完不能直接写回
- 问题
- 修订稿直接覆盖纪要,可能把人已经确认过的内容改掉,而且改错了找不回来。
- 做法
- 修订稿只存在运行记录的
revised_json里,运行结束进入「等待人工确认」;人点覆盖才写回,点放弃要填原因;确认接口用状态作条件更新,两人同时点只有一个成功。 - 原理
- 人工确认是 Agent 唯一的写操作出口:模型负责改,人负责拍板。
03长任务可观察、可中断、可续跑
- 问题
- 一次自检要调用多次模型,几十秒到几分钟;用户要实时看进度、能中途叫停,服务重启也不能让任务永远卡在「运行中」。
- 做法
- 轮次、修订稿、每一步的产物和耗时都落表,SSE 以数据库为唯一数据源推送;中断用条件更新加协程取消,恢复从
current_round和上次的修订稿接着跑;服务启动时重新调度遗留任务。 - 原理
- 断点存在数据库里,而不是内存里:状态全在表中,任务才能被恢复。
04长录音切段后怎么拼回去
- 问题
- 长音频要切段转写,拼回去时时间轴要连续,每段的说话人编号又各自从头计数,同号的不一定是同一个人。
- 做法
- FFmpeg 转成单声道 16kHz 并按 20 分钟切段,各段异步识别;句子时间叠加前面分段的时长拼成一条时间轴,说话人标签加分段前缀(如
01-0、02-0)。 - 原理
- 切开容易拼回难:每一处出错都不报错,只是结果悄悄不对,所以要用测试盯住边界值。
05结构化输出偶发缺字段
- 问题
- 联调时
json_object模式偶发缺字段,导致自检重写失败。 - 做法
- 改用严格模式的 JSON Schema 作为
response_format,必填字段不会缺、枚举字段只取枚举值;再剥掉代码块围栏交给 Pydantic 校验。 - 原理
- JSON Mode 只保证是合法 JSON,Structured Outputs 才保证符合你定义的结构。
功能清单
按角色看这个系统都能做什么。
会议中心6 项
- 会议管理创建会议,选择主持人与参会人员,开始、结束、取消会议
- 会议资料上传录音、视频、文档、压缩包和图片,按 SHA-256 判重,支持在线查看
- 转写任务发起转写,查看状态、进度、片段数,失败最多重试 3 次
智能助手4 项
- 纪要自检Agent 对照转写原文检查纪要是否记全、决策和待办能否落实
- 自检运行台SSE 实时推送运行状态和步骤时间线,可中断、恢复
- 人工确认用修订稿覆盖原纪要,或填写原因放弃修订
系统配置与组织3 项
- AI 模型配置转写、纪要、自检、说话人匹配四种用途的模型配置
- Prompt 模板配置编辑系统预置模板,保存时校验必需的变量占位符
- 部门与员工管理维护部门和员工账号、角色与启停状态
页面截图
共 6 张真实运行截图,点击大图查看高清原图。
点击放大你将获得
购买后可以拿到的全部内容。
喂饭级学习教程17 章
从会议与资料管理讲起,到长音频转写、说话人匹配、纪要生成、反思环自检和中断恢复,按开发顺序一章一章讲。
完整源码 + SQL43 条自动化测试
FastAPI 后端 28 个模块 + Vue3 前端 18 个页面,MySQL 13 张业务表建表脚本和初始化数据。
配套面试文档
电梯陈述、架构与选型、转写与纪要、反思环 Agent、中断恢复与观测的追问和取舍,面试时照着讲。
环境安装文档
Python、FFmpeg、MySQL、Node.js 等开发环境的安装与配置。
项目运行文档
数据库初始化、前后端启动、模型配置,从零把项目跑起来。
常见问题
下单前最常被问到的几个问题。
这个项目是 Java 还是 Python?
后端是 Python(FastAPI + LangChain + LangGraph),前端是 Vue3。
模型需要自己准备吗?
需要自己开通阿里云百炼并创建 API Key,转写和文本模型都用百炼,在管理端「AI 模型配置」里填入即可,改完下一次调用立即生效。模型都走接口调用,不需要显卡,但要装 FFmpeg 处理音视频。
基础薄弱能学会吗?
教程是喂饭级的,从登录注册、统一返回这些工程底座讲起,每章都有验证步骤。基础不够的话,可以先按上面的「学习路径」从基础项目学起。
能写进简历、用作毕业设计吗?
可以,配套面试文档里有项目介绍、难点包装和高频追问,照着就能讲清楚。至于毕业设计,有小伙伴问过我,统一回答一下:AI 实战库板块的项目拿去做毕业设计,就四个字——降维打击。
源码能用于商业项目吗?
源码和教程本质上是给大家学习、提升技能的。如果需要商用,自己二次开发一下也没问题,但禁止原项目 + 教程转手倒卖。我是一个程序员,能看到你们学习我的教程提升能力,能听你们叫我一声大佬,挺幸福的!知足~
售后答疑
买完不是结束跟着教程学习,遇到问题不用自己硬扛。
- 购买前请观看完整功能演示视频和了解左侧项目信息
- 源码和教程资料属于虚拟产品,下单后不支持退款