8-3 RAG评估的三大步骤_ev- 笔记

在确定了RAG评估的标准之后，要完成一个RAG系统的评估，我们需要三个大的步骤。接下来详细分析这三个步骤： - 第一个步骤：构建一个评估RAG系统的测试数据集。这一步要明确在哪些数据上评估RAG系统。该数据通常包括提出的问题以及问题的标准答案。 - 第二个步骤：确定评估指标。通常采用上述RAG评估标准中的指标，或者基于这些标准衍生出的多个指标。 - 第三个步骤：执行RAG评估。整个评估过程是将测试数据集输入到RAG系统中，然后评估系统收集上下文信息和生成的答案，以此计算指标的数值。这整个过程的重点在于如何计算这些指标的数值。