会员服务
MoDELS · 掩码语言模型化 · BERT · 语言模型化 · 秩 ·
2021 年 2 月 1 日
SJ_AJ@DravidianLangTech-EACL2021: Task-Adaptive Pre-Training of Multilingual BERT models for Offensive Language Identification
翻译：SJ_AJ@DravidianLangTech-EACL2021:多语种布尔德语言识别模型的高级任务前培训
Sai Muralidhar Jayanthi,Akshat Gupta
Sai Muralidhar Jayanthi,Akshat Gupta

In this paper we present our submission for the EACL 2021-Shared Task on Offensive Language Identification in Dravidian languages. Our final system is an ensemble of mBERT and XLM-RoBERTa models which leverage task-adaptive pre-training of multilingual BERT models with a masked language modeling objective. Our system was ranked 1st for Kannada, 2nd for Malayalam and 3rd for Tamil.


翻译：在本文中,我们提交了2021年欧洲-加勒比语言联盟关于以德拉维迪亚语言识别进攻性语言身份的2021年共同任务,我们的最后系统是混合的 mBERT 和 XLM-ROBERTA 模型,利用多语言BERT 模型的任务适应性预培训,并设定了蒙面语言模型的目标。我们的系统在Kannada排名第一,在Malayalam排名第二,在泰米尔排名第三。
0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议，是模型驱动软件和系统工程的首要会议系列，由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来，模型涵盖了建模的各个方面，从语言和方法到工具和应用程序。模特的参加者来自不同的背景，包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛，参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会，并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接：http://www.modelsconference.org/
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
专知会员服务
93+阅读 · 2020年4月13日
【CVPR2020-Oral-中科院自动化所】元人脸识别，Learning Meta Face Recognition
【CVPR2020-Oral-中科院自动化所】元人脸识别，Learning Meta Face Recognition
专知会员服务
23+阅读 · 2020年3月20日
【微软亚洲研究院】CodeBERT:用于编程和自然语言的预训练模型，CodeBERT: A Pre-Trained Model for Programming and Natural Languages
【微软亚洲研究院】CodeBERT:用于编程和自然语言的预训练模型，CodeBERT: A Pre-Trained Model for Programming and Natural Languages
专知会员服务
31+阅读 · 2020年2月21日
【跨语言BERT模型大集合】Transfer learning is increasingly going multilingual with language-specific BERT models
专知会员服务
53+阅读 · 2020年1月30日
【论文】多语言神经机器翻译综述（A Comprehensive Survey of Multilingual Neural Machine Translation）
【论文】多语言神经机器翻译综述（A Comprehensive Survey of Multilingual Neural Machine Translation）
专知会员服务
19+阅读 · 2020年1月7日
【论文推荐】基于BERT修剪的问答模型（Pruning a BERT-based Question Answering Model）
【论文推荐】基于BERT修剪的问答模型（Pruning a BERT-based Question Answering Model）
专知会员服务
29+阅读 · 2019年11月22日
【AAAI2020论文-清华大学】Enhanced Meta-Learning for Cross-lingual Named Entity Recognition with Minimal Resources，最小资源增强的元学习跨语言命名实体识别
【AAAI2020论文-清华大学】Enhanced Meta-Learning for Cross-lingual Named Entity Recognition with Minimal Resources，最小资源增强的元学习跨语言命名实体识别
专知会员服务
30+阅读 · 2019年11月17日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
47+阅读 · 2019年10月17日
强化学习最新教程，17页pdf
强化学习最新教程，17页pdf
专知会员服务
174+阅读 · 2019年10月11日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
RoBERTa中文预训练模型：RoBERTa for Chinese
RoBERTa中文预训练模型：RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
人工智能 | ACCV 2020等国际会议信息5条
人工智能 | ACCV 2020等国际会议信息5条
Call4Papers
6+阅读 · 2019年6月21日
BERT/Transformer/迁移学习NLP资源大列表
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
AINLP
40+阅读 · 2019年6月9日
Transferring Knowledge across Learning Processes
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Github项目推荐 | awesome-bert：BERT相关资源大列表
Github项目推荐 | awesome-bert：BERT相关资源大列表
AI研习社
27+阅读 · 2019年2月26日
A Technical Overview of AI & ML in 2018 & Trends for 2019
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
pytorch-pretrained-BERT：BERT PyTorch实现，可加载Google BERT预训练模型
pytorch-pretrained-BERT：BERT PyTorch实现，可加载Google BERT预训练模型
AINLP
35+阅读 · 2018年11月6日
谷歌发表的史上最强NLP模型BERT的官方代码和预训练模型可以下载了
谷歌发表的史上最强NLP模型BERT的官方代码和预训练模型可以下载了
AINLP
12+阅读 · 2018年11月1日
已删除
已删除
将门创投
5+阅读 · 2018年7月25日
Repairing Pronouns in Translation with BERT-Based Post-Editing
Arxiv
0+阅读 · 2021年3月23日
Pretrained Transformers for Text Ranking: BERT and Beyond
Arxiv
28+阅读 · 2020年10月13日
UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training
Arxiv
15+阅读 · 2020年2月28日
Zero-Resource Cross-Lingual Named Entity Recognition
Arxiv
5+阅读 · 2019年11月22日
End-to-End Open-Domain Question Answering with BERTserini
End-to-End Open-Domain Question Answering with BERTserini
Arxiv
3+阅读 · 2019年9月18日
Language Models as Knowledge Bases?
Arxiv
6+阅读 · 2019年9月4日
Language Modeling with Deep Transformers
Arxiv
6+阅读 · 2019年7月11日
Pre-Training with Whole Word Masking for Chinese BERT
Arxiv
11+阅读 · 2019年6月19日
A BERT Baseline for the Natural Questions
Arxiv
8+阅读 · 2019年3月21日
Multilingual Topic Models
Arxiv
3+阅读 · 2017年12月18日
VIP会员
文章信息
前往arXiv
下载PDF
相关主题
MoDELS
掩码语言模型化
BERT
语言模型化
秩
相关VIP内容
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
专知会员服务
93+阅读 · 2020年4月13日
【CVPR2020-Oral-中科院自动化所】元人脸识别，Learning Meta Face Recognition
【CVPR2020-Oral-中科院自动化所】元人脸识别，Learning Meta Face Recognition
专知会员服务
23+阅读 · 2020年3月20日
【微软亚洲研究院】CodeBERT:用于编程和自然语言的预训练模型，CodeBERT: A Pre-Trained Model for Programming and Natural Languages
【微软亚洲研究院】CodeBERT:用于编程和自然语言的预训练模型，CodeBERT: A Pre-Trained Model for Programming and Natural Languages
专知会员服务
31+阅读 · 2020年2月21日
【跨语言BERT模型大集合】Transfer learning is increasingly going multilingual with language-specific BERT models
专知会员服务
53+阅读 · 2020年1月30日
【论文】多语言神经机器翻译综述（A Comprehensive Survey of Multilingual Neural Machine Translation）
【论文】多语言神经机器翻译综述（A Comprehensive Survey of Multilingual Neural Machine Translation）
专知会员服务
19+阅读 · 2020年1月7日
【论文推荐】基于BERT修剪的问答模型（Pruning a BERT-based Question Answering Model）
【论文推荐】基于BERT修剪的问答模型（Pruning a BERT-based Question Answering Model）
专知会员服务
29+阅读 · 2019年11月22日
【AAAI2020论文-清华大学】Enhanced Meta-Learning for Cross-lingual Named Entity Recognition with Minimal Resources，最小资源增强的元学习跨语言命名实体识别
【AAAI2020论文-清华大学】Enhanced Meta-Learning for Cross-lingual Named Entity Recognition with Minimal Resources，最小资源增强的元学习跨语言命名实体识别
专知会员服务
30+阅读 · 2019年11月17日
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
Auto-Sizing the Transformer Network: Improving Speed, Efficiency, and Performance for Low-Resource Machine Translation
专知会员服务
47+阅读 · 2019年10月17日
强化学习最新教程，17页pdf
强化学习最新教程，17页pdf
专知会员服务
174+阅读 · 2019年10月11日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
热门VIP内容
相关资讯
RoBERTa中文预训练模型：RoBERTa for Chinese
RoBERTa中文预训练模型：RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
人工智能 | ACCV 2020等国际会议信息5条
人工智能 | ACCV 2020等国际会议信息5条
Call4Papers
6+阅读 · 2019年6月21日
BERT/Transformer/迁移学习NLP资源大列表
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
AINLP
40+阅读 · 2019年6月9日
Transferring Knowledge across Learning Processes
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Github项目推荐 | awesome-bert：BERT相关资源大列表
Github项目推荐 | awesome-bert：BERT相关资源大列表
AI研习社
27+阅读 · 2019年2月26日
A Technical Overview of AI & ML in 2018 & Trends for 2019
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
pytorch-pretrained-BERT：BERT PyTorch实现，可加载Google BERT预训练模型
pytorch-pretrained-BERT：BERT PyTorch实现，可加载Google BERT预训练模型
AINLP
35+阅读 · 2018年11月6日
谷歌发表的史上最强NLP模型BERT的官方代码和预训练模型可以下载了
谷歌发表的史上最强NLP模型BERT的官方代码和预训练模型可以下载了
AINLP
12+阅读 · 2018年11月1日
已删除
已删除
将门创投
5+阅读 · 2018年7月25日
相关论文
Repairing Pronouns in Translation with BERT-Based Post-Editing
Arxiv
0+阅读 · 2021年3月23日
Pretrained Transformers for Text Ranking: BERT and Beyond
Arxiv
28+阅读 · 2020年10月13日
UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training
Arxiv
15+阅读 · 2020年2月28日
Zero-Resource Cross-Lingual Named Entity Recognition
Arxiv
5+阅读 · 2019年11月22日
End-to-End Open-Domain Question Answering with BERTserini
End-to-End Open-Domain Question Answering with BERTserini
Arxiv
3+阅读 · 2019年9月18日
Language Models as Knowledge Bases?
Arxiv
6+阅读 · 2019年9月4日
Language Modeling with Deep Transformers
Arxiv
6+阅读 · 2019年7月11日
Pre-Training with Whole Word Masking for Chinese BERT
Arxiv
11+阅读 · 2019年6月19日
A BERT Baseline for the Natural Questions
Arxiv
8+阅读 · 2019年3月21日
Multilingual Topic Models
Arxiv
3+阅读 · 2017年12月18日
Top
微信扫码咨询专知VIP会员
Top