深度思考 | 从BERT看大规模数据的无监督利用

作者丨金立达，吴承霖 机构丨笨鸟社交 AI Lab 学校丨英国帝国理工学院 研究方向丨自然语言处理、知识图谱在击败 11 个 NLP 任务的 State-of-the-art 结果之后，BERT 成为了 NLP 界新的里程碑， 同时打开了新的思路： 在未标注的数据上深入挖掘，可以极大地改善各种任务的效果。数据标注是昂贵的，而大量的未标注数据却很容易获得。 在分类中，标签表示训练示例所属的类; 在回归中，标签是对应于该示例的实值响应。 大多数成功的技术，例如深度学习，需要为大型训练数据集提供 ground truth 标签；然而，在许多任务中，由于数据标注过程的高成本，很难获得强有力的监督信息。 因此，希望机器学习技术能够在弱监督下工作。 这不可避免地导致我们重新考虑弱监督学习 ………………………………