码迷,mamicode.com
首页 > 编程语言 > 详细

(2020.6.19)跨语言BERT

时间:2020-06-20 01:24:34      阅读:92      评论:0      收藏:0      [点我收藏+]

标签:没有   比较   embed   mbed   意思   规模   基本   ber   ota   

跨语言BERT目前还处在大力出奇迹的状态。

首先mBERT发现BERT训练在多语言语料的时候,可以用一种语言微调,测试在另一种语言上。

此后XLM就改进了一下,加入了language embedding。

然后后来发现并没有什么用,还不如增大训练规模来得厉害,于是有了XLM-R,基本上是目前的SOTA了。

目前有一些比较有意思的探索工作,如2004.09205、2005.00052,后面有时间研究一下。

(2020.6.19)跨语言BERT

标签:没有   比较   embed   mbed   意思   规模   基本   ber   ota   

原文地址:https://www.cnblogs.com/sqlkrad/p/13166834.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!