Pretrained language models have been used in various natural language processing applications. In the mental health domain, domain-specific language models are pretrained and released, which facilitates the early detection of mental health conditions. Social posts, e.g., on Reddit, are usually long documents. However, there are no domain-specific pretrained models for long-sequence modeling in the mental health domain. This paper conducts domain-specific continued pretraining to capture the long context for mental health. Specifically, we train and release MentalXLNet and MentalLongformer based on XLNet and Longformer. We evaluate the mental health classification performance and the long-range ability of these two domain-specific pretrained models. Our models are released in HuggingFace.
翻译：预训练的语言模型已在各种自然语言处理应用中使用。在心理健康领域，预训练并发布特定领域的语言模型，以便提早检测心理健康状况。社交帖子（例如Reddit上的帖子）通常是长文档。然而，在心理健康领域中，没有专门的预训练模型用于长序列建模。本文进行了领域特定的持续预训练，以捕获心理健康领域的长上下文。具体而言，我们基于XLNet和Longformer训练和发布了MentalXLNet和MentalLongformer。我们评估了这两个领域特定预训练模型的心理健康分类性能和长距离能力。我们的模型在HuggingFace上发布。
相关内容
一是主要脏器无疾病，身体形态发育良好，体形均匀，人体各系统具有良好的生理功能，有较强的身体活动能力和劳动能力，这是对健康最基本的要求；
二是对疾病的抵抗能力较强，能够适应环境变化，各种生理刺激以及致病因素对身体的作用。传统的健康观是“无病即健康”，现代人的健康观是整体健康，世界卫生组织提出“健康不仅是躯体没有疾病，还要具备心理健康、社会适应良好和有道德”。因此，现代人的健康内容包括：躯体健康、心理健康、心灵健康、社会健康、智力健康、道德健康、环境健康等。健康是人的基本权利。健康是人生的第一财富。
微信扫码咨询专知VIP会员