We study the Sobolev IPM problem for measures supported on a graph metric space, where critic function is constrained to lie within the unit ball defined by Sobolev norm. While Le et al. (2025) achieved scalable computation by relating Sobolev norm to weighted $L^p$-norm, the resulting framework remains intrinsically bound to $L^p$ geometric structure, limiting its ability to incorporate alternative structural priors beyond the $L^p$ geometry paradigm. To overcome this limitation, we propose to generalize Sobolev IPM through the lens of \emph{Orlicz geometric structure}, which employs convex functions to capture nuanced geometric relationships, building upon recent advances in optimal transport theory -- particularly Orlicz-Wasserstein (OW) and generalized Sobolev transport -- that have proven instrumental in advancing machine learning methodologies. This generalization encompasses classical Sobolev IPM as a special case while accommodating diverse geometric priors beyond traditional $L^p$ structure. It however brings up significant computational hurdles that compound those already inherent in Sobolev IPM. To address these challenges, we establish a novel theoretical connection between Orlicz-Sobolev norm and Musielak norm which facilitates a novel regularization for the generalized Sobolev IPM (GSI). By further exploiting the underlying graph structure, we show that GSI with Musielak regularization (GSI-M) reduces to a simple \emph{univariate optimization} problem, achieving remarkably computational efficiency. Empirically, GSI-M is several-order faster than the popular OW in computation, and demonstrates its practical advantages in comparing probability measures on a given graph for document classification and several tasks in topological data analysis.


翻译:我们研究了在图度量空间上支撑的测度的Sobolev IPM问题,其中评判函数被约束在由Sobolev范数定义的单位球内。尽管Le等人(2025年)通过将Sobolev范数与加权$L^p$范数相关联实现了可扩展计算,但所得框架本质上仍受限于$L^p$几何结构,限制了其在$L^p$几何范式之外纳入其他结构先验的能力。为克服这一局限,我们提出通过\emph{Orlicz几何结构}的视角来推广Sobolev IPM,该方法利用凸函数捕捉细微的几何关系,并基于最优传输理论的最新进展——特别是Orlicz-Wasserstein(OW)和广义Sobolev传输——这些进展已被证明对推进机器学习方法学至关重要。此推广将经典Sobolev IPM作为特例包含在内,同时能容纳传统$L^p$结构之外的多种几何先验。然而,这带来了显著的计算障碍,加剧了Sobolev IPM本身固有的计算难题。为解决这些挑战,我们建立了Orlicz-Sobolev范数与Musielak范数之间的新颖理论联系,从而为广义Sobolev IPM(GSI)提出了一种新的正则化方法。通过进一步利用底层图结构,我们证明采用Musielak正则化的GSI(GSI-M)可简化为一个简单的\emph{单变量优化}问题,实现了显著的计算效率。实证表明,GSI-M在计算上比流行的OW方法快数个数量级,并在文档分类和拓扑数据分析中的多项任务中,展示了其在给定图上比较概率测度的实际优势。

0
下载
关闭预览

相关内容

信息处理和管理(IPM)在计算机与信息科学的交叉点上发布了有关领域,包括但不限于商业、市场营销、广告、社交计算和信息技术等领域的理论、方法或应用的前沿研究。该杂志的目的是通过为及时传播高级和热门问题提供有效的论坛,从而在计算机与信息科学的交叉点上增进研究人员和从业人员的利益。该期刊对原始研究文章、研究调查文章、研究方法文章以及涉及研究关键应用的文章特别感兴趣。官网地址:http://dblp.uni-trier.de/db/journals/ipm/
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
29+阅读 · 2022年3月28日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
VIP会员
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员