Cross-Encoder实现文本匹配(重排序模型)

文章预览

来源：投稿  作者：175 编辑：学姐 引言 前面几篇文章都是基于表示型的方法训练BERT进行文本匹配，而本文是以交互型的方法。具体来说，将待匹配的两个句子拼接成一个输入喂给BERT模型，最后让其输出一个相似性得分。 本文完整代码 文末领取 。 文本匹配系列文章先更新到此，目前为止都是基于监督学习Sentence Pair的方式，后续有时间继续更新对比学习三元组(anchor, positive, negative)的方式和无监督学习的方式。 架构 Cross-Encoder会利用自注意力机制不断计算这两个句子之间的交互(注意力)，最后接一个分类器输出一个分数(logits)代表相似度(可以经过sigmoid变成一个概率)。 实现 实现采用类似Huggingface的形式，每个文件夹下面有一种模型。分为 modeling 、 arguments 、 trainer 等不同的文件。不同的架构放置在不同的文件夹内。 modeling.py : import torch from torch  ………………………………