为什么分 train/test
Train qrels 用来选择 k1、b;test qrels 只用于最终一次无偏评价。若看着 test 结果反复改参数,就把 test 泄露成了 train,最终分数会过于乐观。
这里只整理实验学习流程。具体提交要求请核对官方 notebook 与 rubric;本站不提供个人提交文件、结果表或报告。
作业不是只写一个 BM25 函数,而是完成一个可验证、可调参、可比较的 IR 实验。
Train qrels 用来选择 k1、b;test qrels 只用于最终一次无偏评价。若看着 test 结果反复改参数,就把 test 泄露成了 train,最终分数会过于乐观。
不要只写“分数提高”。解释 k1 改变 tf saturation、b 改变 length normalization,并结合 gain/loss queries 判断数据集是偏短文档、长文档,还是 query 中 rare terms 的作用更明显。