The impressive capabilities of recent generative models to create texts that are challenging to distinguish from the human-written ones can be misused for generating fake news, product reviews, and even abusive content. Despite the prominent performance of existing methods for artificial text detection, they still lack interpretability and robustness towards unseen models. To this end, we propose three novel types of interpretable topological features for this task based on Topological Data Analysis (TDA) which is currently understudied in the field of NLP. We empirically show that the features derived from the BERT model outperform count- and neural-based baselines up to 10\% on three common datasets, and tend to be the most robust towards unseen GPT-style generation models as opposed to existing methods. The probing analysis of the features reveals their sensitivity to the surface and syntactic properties. The results demonstrate that TDA is a promising line with respect to NLP tasks, specifically the ones that incorporate surface and structural information.


翻译:最近为创建与人造文本有挑战性的案文而建立的基因模型的惊人能力,可被滥用于制作假新闻、产品审查,甚至滥用内容。尽管现有人工文本探测方法表现突出,但它们仍然缺乏对不可见模型的可解释性和坚固性。为此,我们根据目前未在国家土地规划领域接受过研究的地形数据分析,为这项任务提出了三种新颖的可解释的地形特征。我们从经验上表明,从BERT模型得出的特征在三个通用数据集上超过10°C的计数和神经基线,在三个通用数据集上往往最强有力地对待看不见的GPT型生成模型,而不是现有方法。对特征的测试分析显示了其对表面和合成特性的敏感度。结果表明,在NLP任务方面,特别是包含地表和结构信息的模型,TDA是一个很有希望的线。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
172+阅读 · 2020年5月6日
已删除
将门创投
6+阅读 · 2019年1月11日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
1+阅读 · 2021年10月30日
Arxiv
20+阅读 · 2020年6月8日
Arxiv
3+阅读 · 2018年12月29日
Arxiv
4+阅读 · 2018年12月20日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
Arxiv
7+阅读 · 2018年3月19日
Arxiv
3+阅读 · 2017年11月21日
VIP会员
相关资讯
已删除
将门创投
6+阅读 · 2019年1月11日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
相关论文
Arxiv
1+阅读 · 2021年10月30日
Arxiv
20+阅读 · 2020年6月8日
Arxiv
3+阅读 · 2018年12月29日
Arxiv
4+阅读 · 2018年12月20日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
Arxiv
7+阅读 · 2018年3月19日
Arxiv
3+阅读 · 2017年11月21日
Top
微信扫码咨询专知VIP会员