Transformer-based models such as BERT, XLNET, and XLM-R have achieved state-of-the-art performance across various NLP tasks including the identification of offensive language and hate speech, an important problem in social media. In this paper, we present fBERT, a BERT model retrained on SOLID, the largest English offensive language identification corpus available with over $1.4$ million offensive instances. We evaluate fBERT's performance on identifying offensive content on multiple English datasets and we test several thresholds for selecting instances from SOLID. The fBERT model will be made freely available to the community.


翻译:BERT、XLNET和XLM-R等以变异器为基础的模型,在各种NLP任务中取得了最先进的表现,包括确定攻击性语言和仇恨言论,这是社交媒体中的一个重要问题。在本文中,我们介绍了FBERT,一个在SOLID上重新培训的BERT模型,SOLID是现有最大的英语攻击性语言识别系统,有超过140万美元的进攻性案例。我们评估了FBERT在确定多个英国数据集的冒犯性内容方面的表现,我们测试了从SOLID中挑选案例的几个门槛。FBERT模式将免费提供给社区。

0
下载
关闭预览

相关内容

【杜克-Bhuwan Dhingra】语言模型即知识图谱,46页ppt
专知会员服务
65+阅读 · 2021年11月15日
最新《Transformers模型》教程,64页ppt
专知会员服务
309+阅读 · 2020年11月26日
NLPCC 2020《预训练语言模型回顾》讲义下载,156页PPT
专知会员服务
47+阅读 · 2020年10月17日
BERT进展2019四篇必读论文
专知会员服务
67+阅读 · 2020年1月2日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
已删除
将门创投
14+阅读 · 2019年5月29日
Arxiv
6+阅读 · 2019年8月22日
Arxiv
6+阅读 · 2019年7月11日
How to Fine-Tune BERT for Text Classification?
Arxiv
13+阅读 · 2019年5月14日
Arxiv
5+阅读 · 2017年9月8日
VIP会员
相关VIP内容
【杜克-Bhuwan Dhingra】语言模型即知识图谱,46页ppt
专知会员服务
65+阅读 · 2021年11月15日
最新《Transformers模型》教程,64页ppt
专知会员服务
309+阅读 · 2020年11月26日
NLPCC 2020《预训练语言模型回顾》讲义下载,156页PPT
专知会员服务
47+阅读 · 2020年10月17日
BERT进展2019四篇必读论文
专知会员服务
67+阅读 · 2020年1月2日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
相关资讯
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
已删除
将门创投
14+阅读 · 2019年5月29日
Top
微信扫码咨询专知VIP会员