我发布过的所有文章。
检索和回答质量再高,也不能抵消一次权限泄漏、旧版本误召回或不可接受的长尾延迟。本篇把这些不能被平均分掩盖的问题纳入统一Gate。
检索命中只是“模型有机会答对”。本篇继续验证最终回答是否覆盖标准事实、是否只使用Context、是否回应问题,以及引用是否真正支持结论。
Retriever总会返回“最相似”的内容,但最相似不等于足以回答。本篇先建立无答案决策,再检查TopK进入LLM之前是否丢失、重复或污染了证据。
本篇解决两个问题:怎样保证评测试卷可信,以及Hit、Recall、Precision、MRR、nDCG、Pairwise和置信区间分别验证什么场景。