With more and more data being collected, data-driven modeling methods have been gaining in popularity in recent years. While physically sound, classical gray-box models are often cumbersome to identify and scale, and their accuracy might be hindered by their limited expressiveness. On the other hand, classical black-box methods, typically relying on Neural Networks (NNs) nowadays, often achieve impressive performance, even at scale, by deriving statistical patterns from data. However, they remain completely oblivious to the underlying physical laws, which may lead to potentially catastrophic failures if decisions for real-world physical systems are based on them. Physically Consistent Neural Networks (PCNNs) were recently developed to address these aforementioned issues, ensuring physical consistency while still leveraging NNs to attain state-of-the-art accuracy. In this work, we scale PCNNs to model building temperature dynamics and propose a thorough comparison with classical gray-box and black-box methods. More precisely, we design three distinct PCNN extensions, thereby exemplifying the modularity and flexibility of the architecture, and formally prove their physical consistency. In the presented case study, PCNNs are shown to achieve state-of-the-art accuracy, even outperforming classical NN-based models despite their constrained structure. Our investigations furthermore provide a clear illustration of NNs achieving seemingly good performance while remaining completely physics-agnostic, which can be misleading in practice. While this performance comes at the cost of computational complexity, PCNNs on the other hand show accuracy improvements of 17-35% compared to all other physically consistent methods, paving the way for scalable physically consistent models with state-of-the-art performance.


翻译:随着越来越多的数据被收集,数据驱动的建模方法近年来变得越来越受欢迎。尽管经典的灰盒模型在物理上可以达到很好的效果,但可能难以识别和扩展,而且受到其有限的表达能力的影响,其准确性可能会受到影响。另一方面,经典的黑盒方法通常依赖于神经网络(NNs)来从数据中导出统计模式,即使在大规模情况下也能取得惊人的性能。然而,它们仍然完全忽略了潜在的物理定律,这可能会导致在基于它们做出的实际决策中产生潜在的灾难性失败。物理一致神经网络(PCNNs)最近被开发出来解决这些前述问题,确保在保持神经网络的情况下实现物理一致性,以获得最先进的准确性。在这项工作中,我们将 PCNN 扩展到模拟建筑温度动态,并提出了与经典灰盒和黑盒方法的深入比较。更具体地说,我们设计了三个不同的 PCNN 扩展,从而说明体系结构的模块化和灵活性,并正式证明了它们的物理一致性。在所提供的案例研究中,PCNN 展示了最先进的准确性,甚至在其受限制的结构下,表现优于经典 NN-based 模型。我们的研究进一步清楚地说明了神经网络在完全不关注物理定律的情况下表现出似乎良好的性能,这在实践中可能是误导性的。虽然这种性能的成本是计算复杂性,但 PCNNs 另一方面相对于所有其他物理一致方法都表现出了 17-35% 的准确度提高,为具有最先进性能的可扩展的物理一致模型铺平了道路。

0
下载
关闭预览

相关内容

【Google AI】鲁棒图神经网络,Robust Graph Neural Networks
专知会员服务
37+阅读 · 2022年3月9日
【AAAI2022】基于图神经网络的统一离群点异常检测方法
专知会员服务
26+阅读 · 2022年2月12日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
30+阅读 · 2020年4月15日
图时卷积神经网络:架构与理论分析
专知
0+阅读 · 2022年7月3日
图卷积神经网络(GCN)文本分类详述
专知
278+阅读 · 2019年4月5日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
13+阅读 · 2019年11月14日
A Comprehensive Survey on Graph Neural Networks
Arxiv
13+阅读 · 2019年3月10日
VIP会员
相关资讯
图时卷积神经网络:架构与理论分析
专知
0+阅读 · 2022年7月3日
图卷积神经网络(GCN)文本分类详述
专知
278+阅读 · 2019年4月5日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员