Learning an explainable classifier often results in low accuracy model or ends up with a huge rule set, while learning a deep model is usually more capable of handling noisy data at scale, but with the cost of hard to explain the result and weak at generalization. To mitigate this gap, we propose an end-to-end deep explainable learning approach that combines the advantage of deep model in noise handling and expert rule-based interpretability. Specifically, we propose to learn a deep data assessing model which models the data as a graph to represent the correlations among different observations, whose output will be used to extract key data features. The key features are then fed into a rule network constructed following predefined noisy expert rules with trainable parameters. As these models are correlated, we propose an end-to-end training framework, utilizing the rule classification loss to optimize the rule learning model and data assessing model at the same time. As the rule-based computation is none-differentiable, we propose a gradient linking search module to carry the gradient information from the rule learning model to the data assessing model. The proposed method is tested in an industry production system, showing comparable prediction accuracy, much higher generalization stability and better interpretability when compared with a decent deep ensemble baseline, and shows much better fitting power than pure rule-based approach.


翻译:学习可解释的分类方法往往导致低精度模型,或最终形成一个巨大的规则集,而深深层次模型通常更能够处理规模的噪音数据,但代价是难以解释结果和一般化薄弱。为了缩小这一差距,我们提议一个端到端深层次的可解释学习方法,结合在噪音处理和专家基于规则的可解释性方面的深层模型的优势。具体地说,我们提议学习一个深层次的数据评估模型,将数据作为图表来模型,以代表不同观测的相互关系,其输出将被用于提取关键数据特征。然后,将关键特征输入一个按照预先定义的噪音专家规则以及可培训参数而构建的规则网络。由于这些模型是相互关联的,我们提议了一个端到端培训框架,利用规则分类损失来优化规则学习模式和在同一时间评估模型。由于基于规则的计算是无差别的,我们提议将一个梯度搜索模块,将数据从规则学习模式中的梯度信息与数据评估模型联系起来,而数据将被用于提取关键数据特征。拟议的方法将在一个行业生产系统中测试,显示可比的预测准确性、高得多的精度、精度比精度、更精度基线显示比更精度、更精度、更精度更精度更精度更精度、更精度更精确的基线性、更精度、更精确性、更精确性、更精确性、比于解释性、比于更精确性、比于更精确性、更精确性、更精确性、比更精确性、更精确性、更精确性、更精确性、更精确性、比更精确性、比更精确性、比更精确性、更精确性、更精确性、更精确性、比更精确性、比更精确性、比更精确性、比于比于解释性、更精确性、比更精确性、更精确性、更精确性、更精确性、更精确性、更精确性、更精确性、更精确性、更精确性、更精确性、更精确性、更精确性、更精确性、更精确性、更精确性、更精确性、比更精确性、比比比比比比比比比于比比比比比比更精确性、更精确性、更精确性、更精确性、更精确性、更精确性、更精确

0
下载
关闭预览

相关内容

Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
ACM MM 2022 Call for Papers
CCF多媒体专委会
5+阅读 · 2022年3月29日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年12月31日
Arxiv
22+阅读 · 2021年12月2日
Arxiv
13+阅读 · 2021年7月20日
Arxiv
14+阅读 · 2020年12月17日
Learning in the Frequency Domain
Arxiv
11+阅读 · 2020年3月12日
Arxiv
53+阅读 · 2018年12月11日
VIP会员
相关资讯
ACM MM 2022 Call for Papers
CCF多媒体专委会
5+阅读 · 2022年3月29日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
相关论文
Arxiv
0+阅读 · 2022年12月31日
Arxiv
22+阅读 · 2021年12月2日
Arxiv
13+阅读 · 2021年7月20日
Arxiv
14+阅读 · 2020年12月17日
Learning in the Frequency Domain
Arxiv
11+阅读 · 2020年3月12日
Arxiv
53+阅读 · 2018年12月11日
Top
微信扫码咨询专知VIP会员