生成式人工智能系统应用员四级中级工 详细题库
下载APP练习生成式语言模型选型知识 题目预览
-
第 1 题 单选题在评估生成式语言模型的基础能力时,衡量模型对测试集中语言序列预测准确程度的常用指标是( )。
- A. 困惑度
- B. BLEU
- C. ROUGE
- D. F1分数
解析:困惑度(Perplexity)用于衡量语言模型对下一个词预测的置信度,值越低表示模型对语言分布的拟合越好,是评估生成式语言模型基础能力的核心指标之一。 -
第 2 题 单选题在评估生成式语言模型对于摘要任务的效果时,常用于衡量生成摘要与参考摘要之间词汇重叠程度的指标是( )。
- A. 困惑度
- B. BLEU
- C. ROUGE
- D. 精确率
解析:ROUGE(Recall-Oriented Understudy for Gisting Evaluation)基于召回率计算n-gram重叠,是文本摘要评估的常用指标,能够反映生成摘要的信息覆盖程度。 -
第 3 题 单选题在评估机器翻译任务中生成文本的流畅性和忠实度时,基于n-gram精度计算的指标是( )。
- A. ROUGE
- B. F1分数
- C. 困惑度
- D. BLEU
解析:BLEU(Bilingual Evaluation Understudy)通过计算候选译文与参考译文的n-gram重合准确率来评估翻译质量,是机器翻译领域的经典指标。 -
第 4 题 单选题在评估生成式语言模型输出内容的信息准确性时,衡量检索或生成结果中相关正确内容占比的指标是( )。
- A. 精确率
- B. 召回率
- C. 困惑度
- D. 多样性
解析:精确率(Precision)表示所有生成或检索结果中正确结果的比例,适用于对生成内容是否准确、无幻觉的评估,尤其在与知识库结合的场景中常用。 -
第 5 题 判断题困惑度越低的生成式语言模型,其在文本生成任务中产生的语句通常具有更低的语法错误率和更合理的词汇选择。
- A. 对
- B. 错
解析:困惑度反映模型对语言序列的预测能力,低困惑度意味着模型更擅长预测下一个词,从而生成更流畅、更符合语言习惯的文本。 -
第 6 题 判断题BLEU指标在评估生成式语言模型时仅考虑精确匹配的n-gram重合,无法捕捉语义相似性和同义词替换。
- A. 对
- B. 错
解析:BLEU基于严格的n-gram匹配,不区分同义词或近义表达,因此对语义层面的评估存在局限性,需要结合其他指标或人工评估。 -
第 7 题 多选题以下哪些指标常用于评估生成式语言模型在开放式文本生成任务中的语法流畅性和词汇多样性?( )
- A. 困惑度
- B. BLEU
- C. 多样性(Distinct-n)
- D. 准确率
- E. 重复率
解析:困惑度可衡量生成文本的流畅性;多样性(Distinct-n)和重复率用于评估生成文本中词汇的丰富性和避免重复的程度;BLEU主要用于翻译等有参考的任务;准确率通常不直接用于语法流畅性评估。 -
第 8 题 多选题在评估生成式语言模型对事实性问答或知识密集型任务的准确性时,通常会关注以下哪些指标?( )
- A. 精确率
- B. 召回率
- C. F1分数
- D. 困惑度
- E. ROUGE
解析:精确率、召回率和F1分数常用于评估模型生成答案与标准答案之间的匹配程度,可衡量事实准确性和完整性;困惑度主要用于语言模型本身;ROUGE侧重词汇重叠而非事实正确性。
余下详情题库请下载 APP 或扫码小程序查看全部题目与智能刷题。