In the literature, existing human-centric emotional motion generation methods primarily focus on boosting performance within a single scale-fixed dataset, largely neglecting the flexible and scale-increasing motion scenarios (e.g., sports, dance), whereas effectively learning these newly emerging scenarios can significantly enhance the model's real-world generalization ability. Inspired by this, this paper proposes a new LLM-Centric Lifelong Empathic Motion Generation (L^2-EMG) task, which aims to equip LLMs with the capability to continually acquire emotional motion generation knowledge across different unseen scenarios, potentially contributing to building a closed-loop and self-evolving embodied agent equipped with both empathy and intelligence. Further, this paper poses two key challenges in the L^2-EMG task, i.e., the emotion decoupling challenge and the scenario adapting challenge. To this end, this paper proposes an Emotion-Transferable and Scenario-Adapted Mixture of Experts (ES-MoE) approach which designs a causal-guided emotion decoupling block and a scenario-adapted expert constructing block to address the two challenges, respectively. Especially, this paper constructs multiple L^2-EMG datasets to validate the effectiveness of the ES-MoE approach. Extensive evaluations show that ES-MoE outperforms advanced baselines.


翻译:在现有文献中,现有人本中心的情感运动生成方法主要聚焦于在单一尺度固定的数据集内提升性能,很大程度上忽视了灵活且尺度递增的运动场景(例如体育运动、舞蹈),而有效学习这些新出现的场景能够显著增强模型在现实世界中的泛化能力。受此启发,本文提出了一种新的LLM中心化终身共情运动生成任务,其旨在使大型语言模型具备在不同未见场景中持续获取情感运动生成知识的能力,这或有助于构建一个兼具共情能力与智能的闭环自演化具身智能体。进一步地,本文指出了L^2-EMG任务中的两个关键挑战,即情感解耦挑战与场景适应挑战。为此,本文提出了一种情感可迁移与场景自适应的专家混合方法,该方法分别设计了一个因果引导的情感解耦模块和一个场景自适应的专家构建模块,以应对上述两个挑战。特别地,本文构建了多个L^2-EMG数据集以验证ES-MoE方法的有效性。大量评估表明,ES-MoE方法优于先进的基线模型。

0
下载
关闭预览

相关内容

【CVPR2022】MSDN: 零样本学习的互语义蒸馏网络
专知会员服务
21+阅读 · 2022年3月8日
AAAI 2022 | ProtGNN:自解释图神经网络
专知会员服务
40+阅读 · 2022年2月28日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员