基于生成文本的指标
- 困惑度（Perplexity）
- 原理：衡量语言模型对给定文本序列的预测能力，是对模型预测概率的几何平均倒数。困惑度越低，说明模型对文本的预测越准确，语言理解和生成能力越强。
- 1})的情况下预测单词(w_{i})的概率。
- BLEU（双语评估替换指标）
- 原理：通过比较生成文本与参考文本之间的n-gram重叠程度来评估生成文本的质量。它计算生成文本中的n-gram在参考文本中出现的比例，比例越高，说明生成文本与参考文本越相似，模型生成质量越高。
基于知识理解的指标
-
准确率（Accuracy）
- 原理：在分类任务中，衡量模型预测正确的样本数占总样本数的比例。对于语言模型，例如在文本分类、命名实体识别等任务中，准确率可以直观地反映模型对文本内容理解和分类的正确性。
-
F1值
- 原理：综合考虑了精确率（Precision）和召回率（Recall），是两者的调和平均数。在信息检索、文本分类等任务中，当正负样本不均衡时，F1值能更全面地评估模型的性能。
基于人工评估的指标
- 流利度（Fluency）
- 原理：评估生成的文本在语法和语义上的流畅程度，即文本是否符合自然语言的表达习惯，是否易于理解，有无明显的语法错误或语义歧义。
- 评估方式：通常由人工进行主观判断，根据读者对文本的阅读感受和理解难度来打分。
- 相关性（Relevance）
- 原理：判断生成的文本与给定的上下文、问题或主题的相关程度，即生成的内容是否紧密围绕相关主题展开，是否准确回答了问题或与上下文逻辑一致。
- 评估方式：同样依靠人工判断，评估者根据具体的任务要求和上下文信息，对文本的相关性进行评分。
注意：本文归作者所有，未经作者允许，不得转载
