蓝盟IT小贴士，来喽！
概要
为了实现这一点，FELIX将文本编辑任务分解为两个子任务：并进行标记，确定输入单词的子集及其在输出文本中的顺序，然后插入输入文本中不存在的单词。
标注模型采用了支持结构转换的新指针机制，插入模型基于maskedlanguagemodel (MLM )。 两个模型都是非自回归的，保证了模型的高速性。
用文本简化任务的FELIX数据培训示例。 输入词首先标记为KEEP(k )、DELETE (D ) d )或keep和INSERT (I ) I )。 标记后，输入将重新排序。 然后将这个排序的输入反馈给MLM。
模型标记
FELIX的第一步是标记模型，由两个组件组成。
首先，标记决定保留或删除哪个单词，在哪个位置插入新单词。 标记预测插入时，会将特殊的遮罩标记添加到输出中。
标记后，有一个重新排序步骤，即指针重新排序输入以形成输出。 使用此过程可以重复使用输入的一部分，而不是插入新文本。 重新排序步骤支持任意重写，并支持大规模更改建模。
插入模型
标签模型的输出是包含要插入标签预测的被删除单词和MASK标签的排序输入文本。
标签模型的输出是包含要插入标签预测的被删除单词和MASK标签的排序输入文本。 插入模型时，需要预测MASK标签的内容。 由于FELIX的插入模型与BERT的预训练目标非常相似，因此可以直接利用训练前的优点。 这在数据有限的情况下特别有利。
结果
本文对FELIX的句子融合、文本简化、抽象摘要、机器翻译的翻译后编辑进行了评价。 这些任务所需的编辑类型和操作所依据的数据集大小有很大不同。
在一定数据集大小的范围内，将FELIX与大规模预训练的seq2seq模型BERT2BERT和文本编辑模型LaserTager进行了比较，得到了句子融合任务，即两个句子合并为一个任务的结果。
可以看到，FELIX的性能优于LaserTagger，可以通过数百个样本进行训练。 对于完整的数据集，自回归BERT2BERT的性能优于FELIX。 但是，在推理过程中，这个模型花费的时间显然很长。结论
FELIX是完全非自回归的，在实现顶级结果的同时提供了更快的推理时间。
FELIX还通过三种技术最大限度地减少了所需的训练数据量：微调预训练检查点、学习少量编辑操作，以及从预训练到模仿MLM任务的插入任务。
文/上海蓝盟 IT外包专家
中文
电话咨询
微信咨询
公众号
