科技技术论文

基于MBR解码选择NMT与LLM假设的最终翻译：HW-TSC在WMT24通用机器翻译共享任务中的提交

时间：2026-01-20 11:45 所属分类：科技技术论文 点击次数：

摘要本文介绍了华为翻译服务中心(HW-TSC)在WMT24通用机器翻译(MT)共享任务中的提交，我们参与了英语到中文(enzh)语言对的翻译任务。与往年工作类似

摘要

本文介绍了华为翻译服务中心(HW-TSC)在WMT24通用机器翻译(MT)共享任务中的提交，我们参与了英语到中文(en→zh)语言对的翻译任务。与往年工作类似，我们使用正则化dropout、双向训练、数据多样化、前向翻译、反向翻译、交替训练、课程学习和传导集成学习等训练策略，基于深度Transformer-big架构训练神经机器翻译(NMT)模型。不同之处在于，我们还使用持续预训练、监督微调和对比偏好优化来训练基于大语言模型(LLM)的MT模型。通过使用最小贝叶斯风险(MBR)解码从NMT和基于LLM的MT模型的多个假设中选择最终翻译，我们的提交在最终评估中获得了有竞争力的结果。

1 引言

机器翻译(MT)(Brown等，1990)主要利用变压器编码器-解码器架构(Vaswani等，2017)，这在NLLB-200(Costa-jussà等，2022)、M2M100(Fan等，2021)和MT5(Xue等，2021)等杰出模型中得到了体现。大量研究工作致力于完全监督方式下使用大量平行数据训练的任务特定神经机器翻译(NMT)模型(Wei等，2022；Wu等，2023b)。通过正则化dropout(Wu等，2021)、双向训练(Ding等，2021)、数据多样化(Nguyen等，2020)、前向翻译(Abdulmumin，2021)、反向翻译(Sennrich等，2016)、交替训练(Jiao等，2021)、课程学习(Zhang等，2019)和传导集成学习(Wang等，2020b)等技术，这些模型的性能得到了提升。

仅解码器的大语言模型(LLM)如GPT系列(Wu等，2023a；Achiam等，2023)、Mistral(Jiang等，2023)和LLaMA(Touvron等，2023a,b)在各种NLP任务中表现出显著效果，为MT任务提供了新的视角。最近的研究(Hendy等，2023；Jiao等，2023)表明，更大的LLM如GPT-3.5(175B)和GPT-4展现出强大的翻译能力。然而，与传统NMT模型相比，较小规模的LLM(7B或13B)的性能仍然不足(Zhu等，2024)。因此，有研究(Yang等，2023；Zeng等，2024)试图提升这些小型LLM的翻译性能，但改进相对有限，主要原因是LLM主要在以英语为中心的数据集上进行预训练，导致语言多样性有限。

为了解决这一限制，Xu等(Xu等，2023)最初使用大量非英语单语数据对LLaMA-2(Touvron等，2023b)进行持续预训练(CPT)以增强其多语言能力，然后使用高质量平行数据进行监督微调(SFT)来指导模型生成翻译。尽管如此，其性能仍落后于GPT-4和WMT竞赛获胜者等领先的翻译模型。随后，Xu等(Xu等，2024)通过使用对比偏好优化(CPO)进一步微调基于LLM的MT模型来弥合这一差距。

集成学习(Zhou等，2002)在机器学习中有着悠久的历史，以利用多个互补系统来提高给定任务的性能并提供良好的/鲁棒的泛化能力而闻名。最小贝叶斯风险(MBR)(Finkelstein和Freitag，2023；Farinhas等，2023)解码已成功使用任务特定的NMT模型提高了翻译质量，随后也证明适用于基于LLM的MT模型。

训练数据模板

监督微调(SFT)数据模板

textCopy CodeTranslate this from English to Chinese:
English: <English sentence>
Chinese: <Chinese sentence>

对比偏好优化(CPO)数据模板

textCopy CodeTranslate this from English to Chinese:
English: <English sentence>
Preferred Chinese: <Chinese sentence 1>
Dis-Preferred Chinese: <Chinese sentence 2>

持续预训练(CPT)数据模板

textCopy Code<English sentence 1>
...
<English sentence k>
<Chinese sentence 1>
...
<Chinese sentence k>

图1：用于基于LLM的MT训练的CPT、SFT和CPO数据模板。

对于WMT24通用MT共享任务，我们参与了en→zh语言对。与往年工作类似(Wei等，2021, 2022)...

结论

本文展示了HW-TSC在WMT24通用机器翻译共享任务中的方法和成果。通过结合传统的NMT技术和新兴的LLM方法，并采用MBR解码策略从多个翻译假设中选择最优结果，我们的系统在英中翻译任务中表现出色。这表明集成不同类型的翻译模型并使用先进的解码技术可以有效提升机器翻译的质量。