We propose Characteristic Neural Ordinary Differential Equations (C-NODEs), a framework for extending Neural Ordinary Differential Equations (NODEs) beyond ODEs. While NODEs model the evolution of the latent state as the solution to an ODE, the proposed C-NODE models the evolution of the latent state as the solution of a family of first-order quasi-linear partial differential equations (PDE) on their characteristics, defined as curves along which the PDEs reduce to ODEs. The reduction, in turn, allows the application of the standard frameworks for solving ODEs to PDE settings. Additionally, the proposed framework can be cast as an extension of existing NODE architectures, thereby allowing the use of existing black-box ODE solvers. We prove that the C-NODE framework extends the classical NODE by exhibiting functions that cannot be represented by NODEs but are representable by C-NODEs. We further investigate the efficacy of the C-NODE framework by demonstrating its performance in many synthetic and real data scenarios. Empirical results demonstrate the improvements provided by the proposed method for CIFAR-10, SVHN, and MNIST datasets under a similar computational budget as the existing NODE methods.


翻译:我们提议了典型神经普通差异(C-NODEs),这是将神经普通差异(NODEs)扩展至脱氧核糖核糖核酸之外的一个框架。虽然脱氧核糖核糖核酸模拟了潜在状态的演变,作为解决脱氧核糖核酸的解决方案,但拟议的C-NODE模式是潜在状态的演变,作为一阶准线性局部差异方程(PDE)组合的特征的解决方案,被界定为脱氧核糖核酸的曲线。我们进一步调查了C-NODE框架的功效,展示了它在许多合成和真实数据情景中的性能。此外,拟议的框架可以作为现有脱氧核糖核酸结构的延伸,从而允许使用现有的黑盒子脱氧核糖核糖核糖核酸解解解溶解器。我们证明,C-NODE框架通过展示无法由脱氧核糖核糖核糖核酸所代表但可由C-NODEs代表的功能。我们进一步调查了C-NODE框架的功效,展示了它在许多合成和真实数据假设中的表现。EPRIcalalal 显示,根据拟议的预算方法提供改进了CMARDMER的类似计算方法、S-10。

0
下载
关闭预览

相关内容

【Cell】神经算法推理,Neural algorithmic reasoning
专知会员服务
27+阅读 · 2021年7月16日
【斯坦福2021新书】决策算法,694页pdf阐述不确定性决策
专知会员服务
222+阅读 · 2021年1月27日
最新《图理论》笔记书,98页pdf
专知会员服务
73+阅读 · 2020年12月27日
论文浅尝 | GMNN: Graph Markov Neural Networks
开放知识图谱
20+阅读 · 2020年2月14日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
专知
11+阅读 · 2019年5月6日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
LibRec 精选:推荐的可解释性[综述]
LibRec智能推荐
10+阅读 · 2018年5月4日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2022年1月26日
Arxiv
7+阅读 · 2020年6月29日
Arxiv
7+阅读 · 2019年6月20日
Arxiv
23+阅读 · 2018年10月24日
Arxiv
6+阅读 · 2018年10月3日
VIP会员
相关资讯
论文浅尝 | GMNN: Graph Markov Neural Networks
开放知识图谱
20+阅读 · 2020年2月14日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
专知
11+阅读 · 2019年5月6日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
LibRec 精选:推荐的可解释性[综述]
LibRec智能推荐
10+阅读 · 2018年5月4日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员