基于信息理论的机器学习-中科院自动化所胡包钢研究员教程分享03（附pdf下载）

2017 年 12 月 8 日 机器学习研究会 胡包钢

【导读】专知于11月24日推出胡老师的基于信息理论的机器学习报告系列教程，大家反响热烈，胡老师PPT内容非常翔实精彩，是学习机器学习信息理论不可多得的好教程，今天是胡老师为教程的第三部分（为第四章内容）进行详细地注释说明，请大家查看！

▌概述

本次tutorial的目的是，1.介绍信息学习理论与模式识别的基本概念与原理；2.揭示最新的理论研究进展；3.从机器学习与人工智能的研究中启发思索。由于时间有限，本次只是大概介绍一下本次tutorial的内容，后续会详细介绍每一部分。

胡老师的报告内容分为三个部分：

引言（Introduction）
信息理论基础（Basics of Information Theory）
二值信道的理论进展（Theoretical Progress in Binary Channel）
分类评价中的信息度量（Information Measures in Classification Evaluation）
贝叶斯分类器和互信息分类器（Bayesian Classifiers and Mutual-information Classifiers）
总结和讨论（Summary and Discussions）

想了解基于信息理论的机器学习报告系列教程，请阅读专知以前推出的报道：

1. 基于信息理论的机器学习——中科院自动化所胡包钢老师教程分享01（附pdf下载）

报告链接：
http://mp.weixin.qq.com/s/KkpzcZOAPNa2l_vOMGeHLw

2. 基于信息理论的机器学习——中科院自动化所胡包钢老师教程分享02（附pdf下载）

报告链接：
https://mp.weixin.qq.com/s/KEiER2iU1VlsHFRjDKeP7A

胡包钢研究员个人主页：

http://www.escience.cn/people/hubaogang/index.html

胡包钢老师简介：

胡包钢老师是机器学习与模式识别领域的知名学者，1993年在加拿大McMaster大学获哲学博士学位。1997年9月回国前在加拿大MemorialUniversity of Newfoundland, C-CORE研究中心担任高级研究工程师。目前为中国科学院自动化研究所研究员。2000-2005年任中法信息、自动化、应用数学联合实验室(LIAMA)中方主任。

▌PPT

Mackay 2003年首次提议可以应用互信息来评价混淆矩阵优劣。他给出了二值分类中的两个混淆矩阵。矩阵最右一列代表了拒识类别。他没有给出具体计算公式与计算结果，但是他的例题以及提议已经表明只有互信息能够提供有效评价。我们这一章介绍的内容正是受该例题启发。在此也致谢当时课题组杨余久同学（博士）提供的该例题信息。

华人学者周绍康（Chow, C.K.）于1970年首次发展了拒识分类的基础研究工作。机器学习研究领域中又称为“弃权分类”，粗糙集研究领域中又称为“三支决策”。

拒识是人类智能中的重要决策方法之一，体现了大数据处理中的“分而治之”策略。如医学诊断中的“疑似病人”即对应了“拒识类别”。

机器学习应用中有所要考虑误差类别，特别是当小类概率很小时。为此，我们首次提出了误差类别与拒识类别同时考察的问题，并开展初步研究。

初始考察二值分类中的四个典型混淆矩阵。分别对应了不同误差与拒识类别。

在分类结果评价中，我们首次提出了“元准则”的概念与具体内容。如果将分类结果评价准则视为底层准则，那么“元准则”是关于底层准则高层知识评价的准则。“元准则”将有利于快速比较底层准则在规定考察特征上的不同。

针对拒识分类，我们提出了三个具体“元准则”用于考察底层准则的三个特征内容。分别是：Meta1. 能够与混淆矩阵对角线元素呈现单调关系。Meta2. 与拒识率相关。Meta3. 与人类分类直觉以下内容相符：小类中的一个误差（或拒识）将比大类中的一个误差（或拒识）代价更高；同类中的一个误差将比一个拒代价更高。由M3可以对四个混淆矩阵进行排序。思考为什么M2与M3无法区分，列为同序B？“元准则”可以理解为是期待底层准则要尽量可以包容的特征。Meta3是对Meta2的进一步期待要求。