8-2 RAG迭代的关键：评估_ev- 笔记
- 修订后的完整课程文稿： 在确定了RAG评估的标准之后，要完成一个RAG系统的评估，我们需要三个大的步骤。接下来详细分析这三个步骤：
- 第一个步骤：构建一个评估RAG系统的测试数据集。这一步要明确在哪些数据上评估RAG系统。该数据通常包括提出的问题以及问题的标准答案。
- 第二个步骤：确定评估指标。通常采用上述RAG评估标准中的指标，或者基于这些标准衍生出的多个指标。
- 第三个步骤：执行RAG评估。整个评估过程是将测试数据集输入到RAG系统中，然后评估系统收集上下文信息和生成的答案，以此计算指标的数值。这整个过程的重点在于如何计算这些指标的数值。
- 简短修订说明：
- 术语统一情况：将“RIG”“IG”统一修订为“RAG”。
- 主要口误修正点：去除冗余表述，使表述更简洁清晰，如将“也就是说我们需要在哪个数据上去评估IG的系统”简化为“这一步要明确在哪些数据上评估RAG系统”。