生成式人工智能系统应用员二级技师 详细题库

多模型应用系统评估流程和方法 题目预览

• 第 1 题 单选题
  在评估方案设计阶段，为确保评估目标可量化且可落地，首要工作是（ ）。
  • A. 将业务需求转化为可测量的评估问题与评估指标
  • B. 选择最大规模的测试集
  • C. 优先确定模型的训练算法
  • D. 比较不同评估工具的运行速度
  解析：评估目标确定的核心是从业务需求提炼可测问题与指标，而非先选测试集、训练算法或工具。
• 第 2 题 单选题
  在多模型应用系统评估中，若评估目标侧重于输出内容对用户提问的覆盖程度，应优先采用的指标是（ ）。
  • A. 响应时间
  • B. 召回率
  • C. 吞吐量
  • D. 资源占用率
  解析：召回率衡量生成内容覆盖相关信息的比例，适合评估覆盖程度。
• 第 3 题 单选题
  评估目标为“比较两个生成式模型在客服场景下的实用性和成本效益”，下列最合理的评估目标描述是（ ）。
  • A. 仅比较两个模型的参数量和训练数据量
  • B. 只统计两个模型在离线测试集上的精确率
  • C. 在同一客服对话数据集上，对比准确率、响应时间、人工介入率及单位请求成本，并综合排序
  • D. 只评估模型生成文本的多样性
  解析：实用性和成本效益需要综合质量、交互效率、人工介入率和成本，C最全面合理。
• 第 4 题 单选题
  关于多模型评估方案中的“评估基线”设置，下列做法最恰当的是（ ）。
  • A. 不设置基线，仅记录评估结果
  • B. 以随机输出作为基线
  • C. 以被评估模型中最差者作为基线
  • D. 以当前生产环境已部署的系统或公认的基准模型作为基线
  解析：评估基线应为评估结果提供稳定的比较基准，生产系统或公认基准模型比随机输出或最差模型更恰当。
• 第 5 题 判断题
  评估目标一旦确定后，在评估过程中不允许根据中期结果进行任何调整。
  • A. 对
  • B. 错
  解析：评估目标需要根据评估进展、数据质量和业务反馈进行必要修正，但要注意保持调整的可追溯性。
• 第 6 题 判断题
  在多模型应用系统评估方案设计中，评估数据集应覆盖典型场景、边界情况并对数据进行标注，以确保评估目标可量化。
  • A. 对
  • B. 错
  解析：覆盖典型场景和边界情况并做好标注，是量化评估指标、保证评估结果有效性的前提。
• 第 7 题 多选题
  在设计多模型应用系统的评估方案时，评估目标应包含的主要维度有（ ）。
  • A. 模型输出的质量
  • B. 系统性能与资源消耗
  • C. 业务适配性与用户满意度
  • D. 模型训练集的大小
  • E. 部署与运维成本
  解析：模型输出质量、系统性能、业务适配性、部署运维成本均是评估目标的关键维度；训练集大小不直接决定应用效果，不作为评估目标维度。
• 第 8 题 多选题
  在确定多模型应用系统评估目标时，下列做法正确且合理的有（ ）。
  • A. 将评估目标分解为可测量的子目标
  • B. 与业务方确认评估指标的优先级
  • C. 仅以单一模型在单一数据集上的表现作为整体评估结论
  • D. 明确评估的约束条件（如时间、成本、合规性）
  • E. 完全忽略无监督评估指标
  解析：A、B、D有助于形成可执行、可追溯的评估目标；C以偏概全，E完全忽略无监督指标过于极端，均不正确。