The exponential increase in the use of the Internet and social media over the last two decades has changed human interaction. This has led to many positive outcomes, but at the same time it has brought risks and harms. While the volume of harmful content online, such as hate speech, is not manageable by humans, interest in the academic community to investigate automated means for hate speech detection has increased. In this study, we analyse six publicly available datasets by combining them into a single homogeneous dataset and classify them into three classes, abusive, hateful or neither. We create a baseline model and we improve model performance scores using various optimisation techniques. After attaining a competitive performance score, we create a tool which identifies and scores a page with effective metric in near-real time and uses the same as feedback to re-train our model. We prove the competitive performance of our multilingual model on two langauges, English and Hindi, leading to comparable or superior performance to most monolingual models.


翻译:在过去二十年中,互联网和社交媒体使用量的急剧增长改变了人类互动。这带来了许多积极的结果,但同时也带来了风险和伤害。虽然互联网上有害内容的数量,例如仇恨言论的数量不能由人管理,但学术界对调查自动手段以发现仇恨言论的兴趣却增加了。在本研究中,我们分析了六个公开提供的数据集,将它们合并成单一的数据集,将其分为三个类别,即虐待、仇恨或两者兼而有之。我们创建了一个基线模型,并利用各种优化技术改进模型业绩评分。在取得竞争性业绩评分后,我们创建了一个工具,在近实时确定和评分一个有效计量的页面,并使用反馈来重新塑造我们的模型。我们证明了我们在英语和印地语两种语言的多语模式上的竞争性表现,导致最单语模式的可比或优异性表现。

0
下载
关闭预览

相关内容

专知会员服务
124+阅读 · 2020年9月8日
商业数据分析,39页ppt
专知会员服务
161+阅读 · 2020年6月2日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
五个精彩实用的自然语言处理资源
机器学习研究会
6+阅读 · 2018年2月23日
推荐|深度强化学习聊天机器人(附论文)!
全球人工智能
4+阅读 · 2018年1月30日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
深度学习医学图像分析文献集
机器学习研究会
19+阅读 · 2017年10月13日
【推荐】Python机器学习生态圈(Scikit-Learn相关项目)
机器学习研究会
6+阅读 · 2017年8月23日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
3+阅读 · 2018年6月19日
VIP会员
相关资讯
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
五个精彩实用的自然语言处理资源
机器学习研究会
6+阅读 · 2018年2月23日
推荐|深度强化学习聊天机器人(附论文)!
全球人工智能
4+阅读 · 2018年1月30日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
深度学习医学图像分析文献集
机器学习研究会
19+阅读 · 2017年10月13日
【推荐】Python机器学习生态圈(Scikit-Learn相关项目)
机器学习研究会
6+阅读 · 2017年8月23日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员