ChatGPT鲁棒性如何？微软等WSDM2023《领域泛化》教程，阐述域泛化(DG)最新进展以及ChatGPT等大模型分布外性能

ChatGPT现在成为持续关注的热点。微软等学者在最新WSDM 2023会议上做了关于《领域泛化》报告教程，详细阐述了领域****泛化(DG)的最新进展，并着重指出ChatGPT在对抗和分布外视角下的鲁棒性，值得关注

机器学习模型严重依赖于大量训练数据的可用性。对于标注良好的数据难以获取的低资源场景，从现有领域到目标领域进行跨领域知识迁移非常重要。针对这一问题，迁移学习和领域适应等研究取得了很大进展。除了这些进展之外，学习在任何未见过的新环境中都能很好地泛化的模型也非常重要。这激励研究界开发算法，以更好地利用现有的训练域，同时处理其分布变化。

本教程致力于介绍域泛化(DG)的最新进展。与迁移学习和域适应假设目标域数据的可用性不同，DG更进一步，不需要访问目标域数据。DG的目的是从一个或多个具有不同概率分布的训练域学习一个通用模型，以实现良好的分布外泛化。潜在的受众将是机器学习研究人员和行业从业者，对迁移学习、领域适应和泛化特别感兴趣。我们的教程旨在使这些技术在实际应用中更容易学习和使用。

https://dgresearch.github.io/

目录内容：

Introduction and background * Related research areas * Methodology of DG * Applications * Datasets, benchmarks, and evaluations * Theory and future challenges * ChatGPT vs. OOD robustness?

代码地址： https://github.com/jindongwang/transferlearning/tree/master/code/DeepDG 论文：

域泛化(DG)，即分布外泛化，近年来引起了越来越多的关注。领域泛化处理一个具有挑战性的设置，其中给出了一个或几个不同但相关的领域，目标是学习一个可以泛化到看不见的测试领域的模型。

近年来，取得了很大的进展。本文首次综述了领域泛化的最新进展。

首先，我们给出了领域泛化的形式化定义，并讨论了几个相关的领域。

接下来，我们对领域泛化的相关理论进行了全面的回顾，并对泛化背后的理论进行了仔细的分析。然后，我们将最近出现的算法分为三类，分别是数据操作、表示学习和学习策略，每一类都包含了一些流行的算法。

第三，介绍了常用的数据集及其应用。最后，对已有文献进行了总结，并提出了未来的研究方向。

https://www.zhuanzhi.ai/paper/5b8b8958327cabc8b6694d7fc5c7ac75

ChatGPT是OpenAI最近发布的一个聊天机器人服务，在过去的几个月里受到越来越多的关注。虽然对ChatGPT的各个方面进行了评估，但其鲁棒性，即对意外输入的性能，仍不清楚。鲁棒性在负责任的人工智能中尤其值得关注，特别是在安全关键应用中。本文从对抗和分布外(OOD)的角度对ChatGPT的鲁棒性进行了全面的评估。采用AdvGLUE和ANLI基准来评估对抗性鲁棒性，并采用Flipkart评论和DDXPlus医疗诊断数据集进行OOD评估。我们选择了几个流行的基础模型作为基线。结果表明，**ChatGPT在大多数对抗性和OOD分类和翻译任务中表现出一致的优势。然而，其绝对性能远非完美，这表明对抗性和OOD的鲁棒性仍然是基础模型的一个重大威胁。**ChatGPT在理解对话相关文本方面表现出惊人的性能，它倾向于为医疗任务提供非正式的建议，而不是确定的答案。最后，对未来可能的研究方向进行了深入探讨。