填写模板part-02-knowledge-base/templates/kb_eval_questions.md
知识库 10 问命中率测试表
文件路径：
/Users/apple/Documents/4.0 Sanyuan/2.4 环境公益"新"力量/course/part-02-knowledge-base/templates/kb_eval_questions.md用途：第 2 课课堂和课后验收使用。问 10 个真实问题，记录知识库是否找到正确资料，以及回答是否可用。
评分口径
| 结果 | 记分 | 判断标准 |
|---|---|---|
| 命中 | 1 | 找到正确资料，回答事实准确，可引用来源 |
| 半命中 | 0.5 | 找到部分资料，但答案不完整或表达有误 |
| 未命中 | 0 | 没找到资料、引用错误资料、编造答案 |
命中率 = 得分总和 / 10。
测试表
| 序号 | 测试问题 | 正确来源文档 | 期望答案要点 | 检索结果 | 得分 | 问题类型 | 修复动作 |
|---|---|---|---|---|---|---|---|
| 1 | 命中 / 半命中 / 未命中 | 检索 / 生成 / 缺资料 | |||||
| 2 | |||||||
| 3 | |||||||
| 4 | |||||||
| 5 | |||||||
| 6 | |||||||
| 7 | |||||||
| 8 | |||||||
| 9 | |||||||
| 10 |
题目组合建议
| 类型 | 建议数量 | 示例 |
|---|---|---|
| 精确事实题 | 3 | 某项目开展了多少次活动、多少人参与 |
| 条款/要求题 | 2 | 某资助方对结项报告有哪些格式要求 |
| 案例匹配题 | 2 | 找一个适合写社区参与成效的案例 |
| 跨文档综合题 | 2 | 对比 2023 和 2024 年同类项目变化 |
| 反向边界题 | 1 | 问一个知识库里没有的问题，看 AI 是否承认不知道 |
诊断记录
| 未命中问题 | 初步判断 | 修复动作 | 重测结果 |
|---|---|---|---|
| 缺资料 / 清洗不足 / 切片太大 / 缺 frontmatter / 缺 metadata / 技能提示词不清 |