生成式人工智能系统应用员一级高级技师 详细题库
下载APP练习生成式人工智能前沿理论知识 题目预览
-
第 1 题 单选题在Transformer中,原始论文采用的位置编码方式是( )。
- A. 正弦余弦函数
- B. 可学习位置嵌入
- C. 相对位置编码
- D. 旋转位置编码
解析:原始Transformer使用正弦余弦函数作为固定位置编码。 -
第 2 题 单选题在大模型训练中,常用于解决内部协变量偏移问题的归一化方法是( )。
- A. 批量归一化
- B. 层归一化
- C. 权重归一化
- D. 谱归一化
解析:Transformer中广泛使用层归一化,因其适用于变长序列且不受批量大小影响。 -
第 3 题 单选题在大模型训练中,常用的学习率调度策略余弦退火,其学习率随训练步数的变化曲线近似于( )。
- A. 线性下降
- B. 指数下降
- C. 余弦函数
- D. 阶梯下降
解析:余弦退火策略按余弦函数周期性地调整学习率。 -
第 4 题 单选题在大模型自回归推理中,KV Cache技术的主要作用是( )。
- A. 减少内存占用
- B. 提高计算并行度
- C. 支持更长的序列
- D. 避免重复计算注意力中的键值对
解析:KV Cache缓存已计算的键值对,避免每一步重复计算,加速推理。 -
第 5 题 判断题在大模型底层基础理论中,Transformer的自注意力机制中,缩放点积注意力的缩放因子是键向量维度的平方根。
- A. 对
- B. 错
解析:缩放因子为d_k的平方根,其中d_k为键向量维度,用于防止内积过大。 -
第 6 题 判断题在大模型预训练中,使用Adam优化器时,通常需要设置较大的学习率以加速收敛。
- A. 对
- B. 错
解析:Adam优化器通常使用较小的学习率,如1e-4或1e-5,过大学习率会导致训练不稳定。 -
第 7 题 多选题关于大模型中的位置编码,以下说法正确的有( )。
- A. 正弦余弦位置编码是绝对位置编码
- B. 可学习位置编码可以处理任意长度的序列
- C. 旋转位置编码(RoPE)能够编码相对位置信息
- D. 绝对位置编码无法捕捉任何相对位置信息
- E. 位置编码通常与词嵌入相加或拼接
解析:A正确,正弦余弦为绝对位置编码;B错误,可学习位置编码需预设最大长度;C正确,RoPE通过旋转矩阵实现相对位置;D错误,绝对位置编码可通过注意力间接学习相对关系;E正确,常见做法为相加或拼接。 -
第 8 题 多选题关于大模型训练中的优化器,以下说法正确的有( )。
- A. Adam优化器结合了动量与自适应学习率
- B. 牛顿法在大模型训练中广泛使用
- C. 学习率预热(Warmup)有助于缓解早期训练不稳定
- D. 余弦退火学习率调度是常数衰减
- E. 权重衰减(Weight Decay)等同于L2正则化
解析:A正确,Adam融合Momentum和RMSProp;B错误,牛顿法计算二阶矩阵,不适用大规模;C正确,预热逐步增大学习率避免初期震荡;D错误,余弦退火按余弦曲线变化;E正确,在标准SGD中权重衰减等价于L2正则化,但Adam中略有区别,通常视为等价。
余下详情题库请下载 APP 或扫码小程序查看全部题目与智能刷题。