# 端到端代理任务评测：四种上下文策略的准确率与成本

- 时间：2026-11-18
- 目的：回应初审"减少上下文输入不能直接推出回答质量提高"——不做推论，直接测。
- 复跑：脚本在 `tools/e2e_*.py`，产物在 `_e2e/`（已 gitignore；按下面的命令可完整重建）

## 1. 实验设计

| 环节 | 做法 | 为什么这样做 |
| --- | --- | --- |
| 出题 | **独立子代理**读 5 份文档，生成 12 道题（含标准答案、所属小节） | 避免我给自己出"刚好能答对"的题 |
| 语料 | `decisions.md`、`p5-index.md`、`p12-bm25.md`、`demo-selfindex.md`、`p6-mcp.md`（共 99 节） | 模型不可能在预训练里见过 |
| 策略 | 5 种，见下表 | 覆盖"不检索 / 截断整篇 / 整篇 / 定长切分 / 节级" |
| 作答 | 每个策略一个**独立子代理**，只允许读自己的上下文文件，禁止读仓库 | 防止越界拿答案 |
| 判分 | **另一个独立子代理**，A–E 五列**匿名打乱**，只有标准答案，不知道哪列对应哪个策略 | 防止偏向预期 |
| 计分 | `correct=1`、`partial=0.5`、`wrong=0` | 部分正确不该等同于全错 |

策略与上下文规模：

| 策略 | 内容 | 上下文 token |
| --- | --- | --- |
| `none` | 只给问题，无材料（控制组） | 518 |
| `full_trunc` | 整篇语料，但按真实窗口截断到 8000 token | 8,556 |
| `full` | 整篇语料全文 | 20,275 |
| `recursive` | `RecursiveCharacterTextSplitter(512, 80)` + `rank_bm25` top-5 | 17,117 |
| `docmunch` | 标题对齐分节 + BM25 top-5 | 13,064 |

## 2. 结果

```
questions: 12

strategy      correct   partial   wrong    score   ctx tokens  per-question
---------------------------------------------------------------------------
none                0         0      12    0.000          518            43
full_trunc          3         2       7    0.333         8556           713
full               12         0       0    1.000        20275          1690
recursive          12         0       0    1.000        17117          1426
docmunch           12         0       0    1.000        13064          1089
```

## 3. 结论

1. **语料没有被模型记住**：无上下文组 12 题全部"无法确定"、得分 0。控制组成立，说明其他组的分数确实来自提供的材料。
2. **"整篇塞进去"在窗口受限时会崩**：同样 12 题，只给前 8000 token 时得分从 1.000 掉到 **0.333**（7 题直接查不到答案）。这是"不检索"策略的真实失效模式——不是"答得糙"，是**答案根本不在上下文里**。
3. **三种检索策略在准确率上打平，都是 12/12**。所以本项目**不主张"更准"**。
4. **差异在成本**：达到同样 12/12，
   - `docmunch` 用 **13,064** token；
   - `recursive` 用 **17,117** token（比 docmunch 多 31%）；
   - `full` 用 **20,275** token（比 docmunch 多 55%）。
   换算到每题：**1,089 vs 1,426 vs 1,690 token**。docmunch 比整篇塞入省 **36%**。

**因此可以主张**：在 12 道事实型问题、5 份文档的语料上，节级检索把上下文成本降到整篇的约 2/3，**准确率不降**；而"整篇塞入"一旦超出窗口就急剧失效。

**因此不能主张**：docmunch 比定长切分更准（打平），或比定长切分更省（省 24%，但这是分节粒度的自然结果，不是独有能力）。

## 4. 这个实验不能证明什么（威胁有效性）

| 威胁 | 说明 |
| --- | --- |
| 天花板效应 | 12 题全是**单点事实**，三种策略都够用。要区分优劣需要多跳推理、比较型、否定型问题 |
| 样本小 | 12 题、5 份文档、单次运行；没有置信区间 |
| 出题偏向 | 出题虽是独立子代理，但它只读了这 5 份文档，题目都在这 5 份的覆盖范围内 |
| 判分模型同一个 | 作答与判分都用同一款模型，可能存在同源偏好；已用匿名 A–E 列缓解，但没有第二款模型复核 |
| 判分粒度为三档 | `correct/partial/wrong` 靠判分员主观判断"关键事实是否齐全" |

## 5. 复跑

```sh
moon build --target native
pip install langchain-text-splitters rank-bm25 tiktoken

python tools/e2e_prepare.py           # 生成 5 份上下文包（需要 _e2e/questions.json）
# 5 个作答（每个策略一个代理，只读自己的上下文包）→ _e2e/answers/<strategy>.json
python tools/e2e_blind.py --seed 20261118   # 匿名 A–D + 判分包
python tools/e2e_judge_single.py --strategy full_trunc --letter E
# 判分（独立代理）→ _e2e/blind/verdicts.json、verdicts_E.json
python tools/e2e_score.py
```

`_e2e/questions.json` 由独立出题代理生成，种子与提示词记录在本文件第 1 节；换模型或换语料重跑即可复核。
