时间:2026-04-06 20:18 所属分类:教育论文 点击次数:
摘 要 :为了进一步提高神经机器翻译系统的翻译性能 ,提出一种融入预训练语言模型增强的神经机器翻译模型 。一方面 针对BERT 预训练语言模型在融入神经机
摘 要 :为了进一步提高神经机器翻译系统的翻译性能 ,提出一种融入预训练语言模型增强的神经机器翻译模型 。一方面 针对BERT 预训练语言模型在融入神经机器语言模型中存在的灾难性遗忘问题 ,引入掩码矩阵策略进行缓解;另一方面通 过对多注意力机制的内部融合和动态加权 ,使模型可以充分利用经过优化的 BERT 的输出信息 ,从而提高模型性能 。结果 表明 ,当掩映矩阵系数度为 0. 6 时 ,使用门控机制进行加权融合的改进 Masking-BERT 模型 ,在实验数据集上的测试效果最 佳 ,在英→ 中与中→英翻译任务中 ,相较于 Transformer 基线模型、RNNSearch 模型与 RNN-Deliberation 模型 ,BLUE 值分别提 高了 1. 88、1. 41;7. 67、5. 77 和 4. 88、4. 68,性能提升明显 。在实际的英语教学过程中 ,搭载所提模型的 AI 人工智能系统 ,不 仅可以满足课堂的翻译需求 ,且翻译准确度和课堂满意度的人工评分都较高 ,值得在英语教学中使用和推广。
关键词:人工智能;翻译系统;改进注意力机制;预训练语言模型;英语教学
中图分类号:F399;TP29 文献标识码:A DOI 编码:10. 14016/j. cnki. 1001-9227. 2024. 08. 223
Analysis of artificial ntelligence translation combining fuzzy algorithms with
improved attention mechanisms
ZHANG Juling
(Xi’an Siyuan University,Xi’an 710038,China)
引言
随着 AI 人工智能技术的快速发展 ,利用计算机实现不 同语言之间的转换已经成为大势所趋[1] 。英语作为目前世 界上应用范围最广的一 门语言 ,是我国与其他国家进行贸 易往来的重要工具[2] 。人们需要通过学习英语进行对外友 好交流 ,因此 ,英语的教育教学也一直备受重视 。为了提高 英语教学的效率与质量 ,许多教育者紧随时代潮流 ,将人工 智能翻译模型应用于英语课堂中 ,解决学生们在学习英语 过程中遇到的翻译难题[3] 。针对这一现象 ,张迎晨等提出 一种融合 BERT 预训练模型的神经机器翻译方法 ;
∗基金项目:2022 年度陕西社科联青年专项研究项目《高质量 视域下学前教育专业文化建设研究》(2023QN0380);2022 年度 陕西省教育科学“十四五”规划课题《地方文化融入幼儿园游 戏活动的实践研究— 以陕西地方文化为例》(SGH22Y1868)
作者简介 :张菊玲(1980-) ,女 ,陕西人 ,博士在读 ,副教授。
中国知网 https:/www.cnki . net
注意力机制建立双重表征之间的联系 ,提高神经机器翻译 模型性能 ,实现低资源语料条件下模型的高质量翻译[4] ;李 潇则融合遗传算法、粒子群算法与前馈神经网络构建自动 化翻译及矫正模型 ,在保证翻译精度的前提下 ,提高模型的 翻译效率[5] 。以上研究都通过提升了翻译模型的性能 ,使 机器翻译模型可以满足英语教学中的高准确性要求 。在以 上研究基础上 ,将在自然语言处理上有较好表现的 BERT 模型与神经机器翻译模型相结合 ,并通过多个注意力机制 的内部融合与动态加权 ,提高模型对表征信息的学习能力 , 实现模型的进一步优化。
1 相关技术
1. 1 掩码矩阵策略
BERT 模型是利用大规模无标注语料 ,训练、获得文本 的包含丰富语义信息的语义表示 ,然后将语义表示在特定 的自然语言处理任务(Natural Language Processing,NLP ) 中 稍作微调 ,最终应用于该语言处理任务的一种预训练语言 模型[6] 。它通过使用多头注意力机制对输入语句进行编
·223 ·
码 ,获得并输出该语句的语义表征 ,在大部分的自然语言处 理任务上 ,都获得了较好的结果[7] 。然而研究者在将 BERT 模型应用于神经机器翻译模型(Neural Machine Tranlation, NMT)时却遇到了困难 。由于神经机器翻译模型多为深度 神经网络 ,所需参数量与 BERT 模型相比巨大 ,在训练时 BERT 需要更多的更新步骤来适应模型 ,这就造成了 BERT 会遗忘预训练过程中学到的知识 ,导致模型性能严重受损 , 即灾难性遗忘[8] 。
为了解决这一 问题 ,研究提出使用一种基于掩码矩阵 (Masking) 的 BERT 训练策略 ,通过基于预训练模型参数对 接下来翻译任务的重要性来选择预训练模型参数的一个子 集 ,缓解由于神经机器翻译模型中更新参数过多造成的灾 难性遗忘 ,从而实现利用基于掩码矩阵策略训练的 BERT 模型构 建 神 经 机 器 翻 译 模 型[9] 。基 于 掩 码 矩 阵 策 略 的 BERT 训练过程具体如下 :
在 BERT 中 ,第 l 个 Transformer 块由 6 个线性层构成 ,
分别为 Wl ∈ { WK ,WQ ,WV ,WA0 ,WI ,W0} 。其中每个线性层
Wl 都与一个与其大小一致的实值矩阵 Ml 相关联 ,实值矩 阵由均匀分布中随机初始化 。在训练时 ,反向传播会不断 用之后机器翻译任务的损失值对矩阵 Ml 进行更新 。在前 向传播时 ,首先通过一个元素级的阈值函数 ,计算 Ml 中当
前线性层的二进制掩码 Mbin ,阈值函数的计算如式(1)
将这个二进制掩码 Mbin 与当前线性层 Wl 相乘 ,即可得
到更新后的线性层
l 。通过这个方法 ,模型可以自己选择 所需要预训练模型的那一部分参数并进行冻结 ,再对剩下 的参数进行更新[10] 。改进后参数的更新过程具体过程如式 (2)所示 :
1. 2 多注意力机制
1. 2. 1 多注意力机制内部融合
为了使神经机器翻译模型可以更好地利用基于掩码矩 阵策略进行训练的 BERT 的输出信息 ,对 BERT 模型中多个 注意力机制进行内部融合[11] 。传统的串行或并行处理的多 注意力机制内部融合方法 ,要么其他注意力机制的结果并 不会在最终结果中被考虑 ,只是作为下一个注意力机制的 输入;要么只是对每个注意力机制的结果进行加权平均 ,并 未考虑到注意力机制间的相互作用 ,都有一定的局限[12] 。 为了使融合的最终结果即关注到多个注意力机制结构的权 重 ,同时又考虑到多个注意力机制间的相互作用 ,将并行处 理与串行处理相结合 ,提出一种新的注意力机制内部融合 方法。
根据 Masking-BERT 最终隐藏层的输出 ,模型当前层的 编码和解码注意力结果 ,分别计算如式(3) ,(4)和(5) : (5) 式中 ,attens 和 attenB 分别是自注意力机制和 Masking-BERT attention 注意力机制;attenE 为编码器 -解码器注意力机制。
HE 和 Hi 分别为编码器端第 l 层的隐藏层表示以及第 l 层的
第 i 个单词的隐藏层表示;HB 为 Msaking-BERT 的最后一层 隐藏层输出 。s
t 代表解码器端第层第一个时间步的隐藏层
状态 ,s
t = (s1 , … ,st -1 )。
1. 2. 2 动态加权融合方法
改进的多注意力机制内部融合方法 ,使模型更充分地 学习到 Masking-BERT 输出的表征信息 。但是由于模型中 多个注意力机制的输出并非同等重要 , 目前使用平均加权 对多个注意力机制进行融合的方法 ,反而会使其他注意力 机制中的错误或噪音信息 ,影响真正有用信息 。因此在对 多注意力机制进行内部融合的基础上 ,采用动态加权的方 法 ,进一步提高模型对 Masking-BERT 输出信息的利用[13] 。 选择的动态加权方法为门控机制融合加权方法。
设自注意力机制编码器端第 l 层中的两个连接层分别
为 ATTs 和 ATTB ,将自注意力机制的输出信息和 Masking-
BERT attention 注意力机制的输出信息聚合在当前层中 ,在 当前层将自注意力机制的输出与当前层 Masking-BERT at- tention 注意力机制的输出进行集成 ,即可得到编码器端输
出的隐藏层状态 HE ,计算如式(6) :
HE =gl ⊗ATTs +(1-gl ) ⊗ATTB (6)
式中 ,gl 为上下文开关门机制中的激活函数即 logistic 函数 ; 若 gl = 0,则意味着可以完全忽略神经机器翻译模型编码器 端当前层的信息 ;若 gl = 1,则表示网络的训练过程与原始神 经机器翻译模型一致。
设自注意力机制解码器端第 l 层中的两个连接层分别
为 ATTE 和 ATTB ,在当前层将当前层编码器 -解码器注意力
机制的输出与当前层 Masking-BERT attention 注意力机制
的输出进行集成 ,解码器端输出的隐藏层状态 HE ,计算入式
(7) :
HE =gl ⊗ATTE +(1-gl ) ⊗ATTB (7)
式中 ,若 gl = 0,则意味着可以完全忽略神经机器翻译模型编 码器端当前层的信息 ,采用与微调相同的方法对网络进行 训练 ;若 gl = 1,则表示网络的训练过程与原始神经机器翻译 模型 一 致 ,意 味 着 可 以 完 全 忽 略 来 自 Masking - BERT 的 信息。
1. 3 基于改进 Masking-BERT 增强的神经机器翻译模型
为了在跨语言翻译任务中也能充分发挥 BERT 在自然 语言处理任务中的高性能 ,将 BERT 与神经机器翻译模型 (Neural Machine Tranlation,NMT) 相结合 ,将 BERT 的最后 一层作为 NMT 模型的输入 ,提出 一 种基于 BERT 增强的 NET 模型 。首先使用 BERT 对输入的源语言句子 X 进行编 码 ,获得该句子的向量表征 HB = BERT(X) ;将 BERT 作为 NMT 模型编码器端的嵌入层 ,HB 使融入至 NMT 模型 。这 样 ,编码器端对于源语言句子的表征则变为 HE =Enc(HB )。 由于 BERT 在融入 NMT 翻译任务时 ,神经机器翻译模型因 微调会逐渐遗忘预训练时在单语数据集上学习的知识 ,因 此 ,在 BERT 增强 NMT 模型的基础上 ,引入掩码矩阵策略缓 解 NET 模型的知识遗忘 。同时使用动态加权融合的多注意 力机制 ,增强模型的信息学习能力 ,从而提出一种基于掩码 矩阵策略 BERT-多注意力机制增强的神经机器翻译模型。 模型的具体结构如图 1 所示 :
图 1 基于掩码矩阵策略 BERT-多注意力机制增强的神经 机器翻译模型流程框架图
设编码器端第 l 层的隐藏层表示为 HE ,第 l 层的第 i 个 单词的隐藏层表示为 Hi ,Msaking-BERT 的最后一层隐藏层 输出为 HB ,则编码器端各层的注意力机制如公式(8)所示 :
H% = 1 (attn (hi -1 ,HE1 ,HE1 )+
attnB (attens +(hi -1 ,HE1 ,HE1 ) ,HB ,HB ) ) (8)
式中 ,attnS 和 attnB 分别为自注意力机制。
设解码器端第 l 层第一个 t 时间步的隐藏层状态为 Sl
<t
且 Sl = (s1 , … ,st -1 ) ,则解码器端各层注意力机制如公式
<t
(9) (10)所示
l =attn s (st -1 ,S![]()
1 ,S![]()
1 ) (9)
t
l = 1 (attnE (st ,HE1 ,HE1 )+
attnB (attnE (st ,HE1 ,HE1 ) ,HB ,HB ) (10)
式中 ,attn s 、attnB 和 attnE 分别表示自注意力机制。
2 实验验证
2. 1 实验环境
实验基于某中学初一英语教学平台搭建 AI 人工智能 翻译系统 。系统包括源语言输入、Moses 预处理、基于改进 Masking-BERT 增强的神经机器翻译和目标语言输出四个 主要模块 。系统的具体结构如图 2 所示 :
本次实验基于 Python3. 7. 1 和 Pytorch 开源深度学习开 源平台搭建 AI 人工智能翻译模型 ,并在 Ubuntu20. 04. 1 操 作系统上运行 。系统配置 i9 - 11900K 中央处理器和 Ge- Force RTX 3060,其显存为 12 GB。为了规范用户输入的源 语言句子 ,采用 Moses 工具包对输入文本进行预处理 ,预训
中国知网 https:/www.cnki . net
练语言模型 BERT 的分词方式为 Word Piece。
2. 2 实验参数
设置模型训练的批大小为 64,采用 Adam 优化器进行 优化 ,其中 β1 和 β2 分别设置为 0. 90 和 0. 98,学习率为 le- 3,学习率衰减策略为 inverse sqrt,预热学习率设置为 10。 标签平滑度为 0. 1,损失值为 0. 1,嵌入大小为 768,掩码矩 阵中元素级阈值函数 τ 为 0. 1。
2. 3 实验数据
采用 uniteed Nations Parallel Corpus v1. 0 公开的联合国 领域内语料库中的英→ 中和中→英数据集作为实验数据 集 。该语料库包括 1990-2014 共 25 年人工翻译的联合国 文件 ,从英→ 中和中→英训练集中抽取 2 000 条数据作为实 验的训练集 ,验证集大小为 2 000。实验推理阶段使用 beam search 生成测试集句子的翻译 ,beam_width 和 length_penalty 分别设置为 5 和 0. 7。将 Masking-BERT 的最后一层隐藏层 输出作为输入 NMT 神经机器翻译模型的额外特征 ,使用 BLUE 作为评估模型翻译性能的指标。
2. 4 实验结果
2. 4. 1 掩码矩阵稀疏实验
由于不同的初始掩码稀疏度会影响翻译模型的最终性 能 ,设置初始掩码稀疏度为 0. 02、0. 04、0. 06、0. 16、0. 60 和 0. 90,对不同初始掩码稀疏度条件下 ,模型的性能变化进行 观察[14] 。所提翻译模型在不同掩码稀疏矩阵稀疏度下的性 能结果如图 1 所示 :
图 3 不同掩码矩阵稀疏度下所提模型性能变化曲线图
如图 3 所示 ,随着掩码矩阵稀疏度的增加 ,模型的性能 也在不断提升 ,并在达到 0. 06 后直到 0. 16 出现下降 。这可 能是因为 ,当掩码矩阵稀疏度较低时 ,几乎所有预训练的参 数都被选中 ,由于预训练模型需要适应当前的翻译任务 ,所 有参数被选中使得模型无法获得最适合的优化 ,性能也受 到影响 ;当掩码矩阵稀疏度较高时 ,由于模型丢弃了大量的 预训练参数 ,包含在预训练模型中的知识也被遗失 ,从而导 致模型的性能受损 。综上 ,所提模型最适合的掩码矩阵稀 疏度区间应为 0. 06~0. 16,因此 ,设置 0. 06 为所提模型的初 始掩码稀疏度。
2. 4. 2 不同加权方法的性能比较
基于改进 Masking-BERT 增强方法搭建 AI 人工智能翻 译模型 。对于模型中的多个注意力机制 ,采用动态加权的 方法对多个注意力机制进行融合 ,使其在融合过程中可以 关注到更有用的信息 。由于不同的动态加权方法对模型性 能有着不同的影响 ,为了找到最适合所提模型的加权方式 , 将未对多注意力机制进行内部融合的 Masking-BERT 增强 基线模型、未对多注意机制内部融合也未采用掩码策略对
·225 ·
参数进行冻结的 BERT 增强基线模型、采用平均加权进行 内部融合的 Masking-BERT 多注意力机制增强基线模型以 及基于线性融合加权、自注意力机制融合加权、门控机制的 融合加权三种主流动态加权的 Masking-BERT 多注意力机 制增强模型 ,在实验数据集上进行对比[15] 。所有模型的比 较结果如表 1 所示。
表 1 不同加权方法在实验数据集上的比较结果
方法 | 英→ 中 BLUE 值 | 中→英 BLUE 值 |
Masking-BERT 增强基线模型 | 40. 42 | 30. 85 |
BERT 增强基线模型 | 38. 71 | 29. 70 |
平均加权模型 | 40. 65 | 30. 97 |
线性融合加权模型 | 43. 08 | 32. 21 |
自注意力机制融合加权模型 | 42. 23 | 31. 64 |
门控机制的融合加权模型 | 43. 30 | 32. 58 |
如表 1 所示 ,未采用掩映策略的 BERT 增强基线相较于 采用掩映策略的 Masking-BERT 增强基线模型 ,性能有所下 降 。这是因为 BERT 基线模型在执行翻译任务时 ,参数在 微调后发生了灾难性遗忘 ,造成了模型性能受损 。在对多 注意机制进行内部融合后 ,模型的性能相较于基线模型都 有了不同程度的提升 。其中相较于动态加权融合的模型整 体较采用平均加权的模型提升效果更显著 ,证明内部融合 与动态加权的方法都很好地提高了神经机器翻译模型对 Masking-BERT 输出特征的利用 。在三种不同动态加权方 法进行多注意力机制内部融合的模型中 ,采用门控机制进 行融合加权的模型 ,明显由于采用其他两种方法进行融合 加权的模型 ,在四种模型中性能最优 ,在英→ 中与中→英翻 译任务 中 相 较 于 基 线 模 型 BLUE 值 分 别 提 高 了 2. 88 和 1. 73,相较于线性融合加权的模型与自注意力机制融合加 权分别提高了 0. 22、1. 07 和 0. 37、0. 94。综上 ,使用掩映策 略的 BERT 模型作为基础模型 ,并在此之上 ,选择门控机制 的融合加权方法作为所提模型中多注意力机制的融合加权 方法。
2. 4. 3 翻译模型性能比较
为了验证所提引入门控机制融合加权多注意力机制的 Masking-BERT 增强翻译模型的性能优越性 ,在实验数据集 上 ,对采用所提方法增强的神经机器翻译模型进行性能测 试 ,并将测试结果与 Transformer 基 线 模 型、RNNSearch 和 RNN-Deliberation 等常用神经翻译模型的测试结果进行比 较 。比较结果如表 2 所示。
表 2 不同翻译方法 BLUE 值比较
翻译方法 | 英→ 中 BLUE 值 | 中→英 BLUE 值 |
Transformer | 41. 42 | 31. 17 |
RNNSearch | 35. 63 | 26. 81 |
RNN-Deliberation | 38. 42 | 27. 90 |
所提方法 | 43. 30 | 32. 58 |
如表 2 所示 ,所提翻译方法在英→ 中与中→英翻译任 务中 ,BLUE 值 相 较 于 Transformer 基 线 模 型 分 别 获 得 了 1. 88 和 1. 41 的提升 ,性能优越性显著 。相较于 RNNSearch 模型 与 RNN - Deliberation 模 型 , BLUE 值 则 分 别 提 高 了 7. 67、5. 77 和 4. 88、4. 68,翻译准确性更高 ,更符合英语教学 过程中 AI 人工智能翻译的要求。
2. 4. 4 实证验证
·226 ·
为了进一步验证所提翻译方法在实际英语教学中的应 用效果 ,研究将人工智能翻译系统搭载至某中学英语教学 平台上 ,在某中学初一一班英语课堂中进行了英语教学实 验 。图 4 为课程中使用系统对课文某例句的翻译内容 。由 图可知 ,所提翻译系统满足英语教学课程中的中英翻译任 务 ,且翻译准确率较高。
图 4 实际翻译效果展示
邀请 3 位专业英语教师按 10 分制对模型翻译的准确 度进行人工评分 ,1 分为完全不准确且不流畅 ,10 分为完全 准确且流畅 ,并以 3 位教师的平均分作为模型的最终评分 ; 同时通过匿名问卷的方式 ,统计一班 56 名学生对本次课程 的满意度 ,问卷选项包括非常满意、满意、一般、不满意、非 常不满意 。本次课程中所提模型的翻译准确率和同学对使 用 AI 人工智能翻译模型进行英语教学的满意度的统计结 果如表 3 所示。
表 3 所提模型在本次英语课程中的应用效果统计
翻译准确度(分) | 课堂满意度(%) |
7. 7 | 96. 43% |
如表 3 所示 ,所提模型在英语课程教学中的准确度人 工得分为 7. 7 分 ,分值较高 ,说明翻译结果较准确和流畅 , 翻译效果较好 。同学对使用所提模型进行英语教学的课堂 满意度达到了 96. 43% ,绝大部分都对本次课程非常满意。 选择一般和不满意的同学认为机器模型在某些句子上的翻 译效果比较死板 ,不如老师翻译的灵活 。整体来看 ,所提翻 译方法在英语教学中仍具有一定的应用价值。
3 总结
综上 ,所提基于改进 Masking-BERT 增强的神经机器翻 译方法 ,一方面通过在 BERT-NMT 模型中掩码矩阵策略 , 解决 BERT 在融入 NMT 模型时存在的灾难性遗忘问题 ;另 一方面通过多注意力机制的内部融合和动态加权 ,使模型 可以对 Masking-BERT 输出信息进行充分利用 ,从而提高模 型翻译性能 。结果表明 ,在掩映矩阵稀疏度为 0. 6 时 ,采用 门控机制的方式进行加权融合的改进 Masking-BERT 模型 , 在实验数据集英→ 中与中→英测试集上的翻译效果最佳 , 相较于 Transformer 基线模型、RNNSearch 模型与 RNN-De- liberation 模型 ,BLUE 值分别提高了 1. 88、1. 41;7. 67、5. 77 和 4. 88、4. 68,性能提升效果显著 。在实证实验中 ,采用所 提方法改进的神经机器翻译系统不仅可以满足英语教学课 程中的中英翻译需求 ,且准确度人工得分达到了 7. 7 分 ,翻 译结果较为准确流畅 。在课后对同学进行的满意度调查 中 ,同学们对在课堂中使用构建 AI 人工智能翻译系统的满 意度达到了 96. 43% ,满意度较高 。因此 ,可以认为基于所 提方法改进的神经机器翻译模型在英语教学中具有一定的 实用价值 ,值得进一步研究和推广 。不足之处在于 ,尽管研究通过在翻译模型中引入包含知识量更广的预训练语言模 型提高其性能 ,但模型的训练和推理速度也因融入预训练 语言模型而变慢 ;此外由于 BERT 本身的性能限制 ,模型的 翻译效果仍然广阔的提升空间 。下一步 ,研究将针对以上 不足 ,从加快模型的运算速度与增加模型的外部知识融合 两方面 ,着手对模型进行优化。
参考文献
[1] 柴华. 图卷积神经网络结合注意力机制的机器翻译方 法研究 [J]. 自动化与仪器仪表 , 2023, ( 10) : 187-
190.
[2] 张卫娜. 结 合 Bert 与 Bi - LSTM 的 英 文 文 本 分 类 模
型 [J]. 计算机测量与控制 , 2023, 31 (4) : 213-218+ 251.
[3] 肖宇晗 ,林慧苹 ,汪权彬 ,等. 基于双特征嵌套注意力的 方面词情感分析算法 [J]. 智能系统学报 , 2021, 16 (1) : 142-151.
[4] 张迎晨 ,高盛祥 ,余正涛 ,等. 融合 BERT 与词嵌入双重 表征的汉越神经机器翻译方法 [J]. 计算机工程与科 学 , 2023, 45 (3) : 546-553.
[5] 李潇. 基于人工神经网络的机器自动化翻译及矫正模 型构建 [J]. 自动化与仪器仪表 , 2023, (11) : 20-24.
[6] 季玉文 ,陈哲. 基 于 BERT 的 金 融 文 本 情 感 分 析 与 应 用 [J]. 软件工程 , 2023, 26 (11) : 33-38.
[7] 汪子健 ,李传富. 基 于 BERT 的 医 学 智 能 问 答 模 型 研
究 [J]. 微型电脑应用 , 2023, 39 (9) : 23-25+29.
[8] 张朋捷 ,王磊 ,马博 ,等. 基于预训练语言模型的维吾尔
语事件抽取 [J]. 计算机工程与设计 , 2023, 44 (5) : 1487-1494.
[9] 陈锡 ,陈奥博. 基于掩码矩阵-BERT 注意力机制的神经机
器翻译 [J]. 现代电子技术 , 2023, 46 (21) : 111-116.
[10] 陈洁. BERT 编码与注意力机制结合的长文本分类研
究 [J]. 计算机时代 , 2023, (5) : 136-139+144.
[11] 闫超 ,张雪英 ,张静 ,等. 结合注意力机制和特征融合 1DCNN 的 脑 电 情 感 识 别 [J ]. 计 算 机 工 程 与 应 用 , 2023, 59 (13) : 171-177.
[12] 徐明瑞 ,李征 ,刘勇 ,等. 基于代码语句掩码注意力机制 的源代码迁移模型 [J]. 计算机系统应用 , 2023, 32 (9) : 77-88.
[13] 张华辉 ,冯林 ,廖凌湘 ,等. 基于对抗学习的自适应加权 方面级 情 感 分 类 算 法 [ J ]. 小 型 微 型 计 算 机 系 统 , 2023, 44 (4) : 766-772.
[14] 孙红 ,黄雪阳 ,徐广辉 ,等. 融合掩码机制的图卷积文本 分类模型 [J]. 中文信息学报 , 2023, 37 (9) : 98-107.
[15] 赵彧然 ,薛傥 ,刘功申. 基于词序扰动的神经机器翻译 模型鲁棒性研究 [J]. 网络与信息安全学报 , 2023, 9 (5) : 138-149.
[8] 张柏鑫 ,杨毅镔 ,朱华中 ,等. 基于深度强化学习的移动 析方法研究[J]. 电子设计工程 ,2023,31(11) :88-92.
机器人 动 态 路 径 规 划 算 法 [J ]. 计 算 机 测 量 与 控 制 , [15] 李宁. 基 于 算 法 融 合 的 移 动 机 器 人 路 径 规 划 方 法 研
2023,31(1) :153-159+166. 究[D]. 南京 :南京信息工程大学 ,2023.
[9] 魏立新 ,张钰锟 ,孙浩 ,等. 基于改进蚁群和 DWA 算法的 [11] 陈佳兴 ,何华卿 ,潘芸菲 ,等. 基于分类模型和 SVD 的协
机器人动态路径规划[J]. 控制与决策 ,2022,37 (9) : 同过滤算法[J]. 电子测量技术 ,2020,43(14) :69-73.
2211-2216. [12] 周迅 ,刘超慧 ,周克萍 ,等. 融入惩罚因子的协同过滤图
[10] 董海 ,雷 凤 达. 基 于 萤 火 虫 算 法 的 动 态 车 辆 路 径 规 书推荐算法[J]. 江苏科技信息 ,2022,39(17) :76-80.
划[J]. 工业工程 ,2022,25(6) :110-119+125. [13] 方惠 ,李民 ,邓秀辉 ,等. 改进物品相似度计算的协同过
[11] 任长安 ,黄银珍 ,罗庆云 ,等. 基于改进萤火虫算法的物 滤算法[J]. 软件导刊 ,2021,20(9) :88-92.
流配送路径规划系统[J]. 现代电子技术 ,2020,43(20) : [14] 李豁然 ,刘譞哲 ,梅俏竹 ,等. 基于细粒度数据的智能手
105-108. 机续航时间预测模型 [J]. 软件学报 ,2021,32 ( 10) :
[12] 朱杰 ,赵旭 ,袁伟 ,等. 基于改进动态窗口法的内河无人水面 3219-3235.
艇避碰算法设计[J]. 船舶工程 ,2023,45(7) :26-33. [15] 于旭 ,何亚东 ,杜军威 ,等. 一种结合显式特征和隐式特
[13] 马晓宁 ,李笑含. 基于 Tent 混沌映射的可复制的鲸鱼算 征的开发者混合推荐算法[J]. 软件学报 ,2022,33(5) :
法[J]. 计算机仿真 ,2022,39(8) :363-368. 1635-1651.
[14] 金韬. 基于 SVM 和差分进化算法的工程数据预测与分