项目名称: 机器学习中模型选择问题的研究及其在图像理解中的应用

项目编号: No.60873154

项目类型: 面上项目

立项/批准年度: 2009

项目学科: 金属学与金属工艺

项目作者: 彭宇新

作者单位: 北京大学

项目金额: 30万元

中文摘要: 模型选择是机器学习中的一个最基本问题,具有重大的研究和应用价值。现有方法一般采用一些统计准则来选择模型的尺度,但此类方法因重复估计整个模型的参数,因此会导致极大的计算代价。为了提高效率,需要在参数估计的同时设法自动地选择模型的尺度,即"自动模型选择",这是该领域研究者面临的一个难题,也是本项目研究的重点问题。基于对机器学习中有限混合模型的深入研究,本项目拟探索其自动模型选择的机制。与现有的模型参数估计方法(如极大似然学习)不同,本项目将根据正则理论考虑在似然函数中增加能控制模型复杂度的正则项,在实现自动模型选择的同时规避局部极值点。我们的初步实验结果表明,这种正则的似然学习在非监督图像分割等方面能够取得比现有方法更好的效果。本项目对自动模型选择问题的全面研究将形成一套完整的理论,并能在图像理解(如图像分割、分类等)中得到很好的验证和应用,从而能够推进机器学习理论和图像理解应用的相关进展。

中文关键词: 模型选择;有限混合模型;正则理论;图像理解。

英文摘要: Model selection is a key problem in the machine learning field, which occurs in many applications such as pattern recognition and computer vision. The existing methods take into account some statistical criteria to choose the optimal model scale. However, the entire parameter estimation has to be repeated at different model scales, and the process of evaluating these criteria causes a large computational cost. To develop a more efficient method, we can select the model scale automatically during parameter estimation. This kind of automatic model selection is very difficult in the existing methods, and we will pay attention to the problem in this project. Moreover, we will focus on finite mixture models, since they are widely used in machine learning. Other than the traditional model estimation methods (e.g. maximum likelihood learning), we will try to regularize the likelihood by some terms which can control the model complexity of the mixture, in order to make automatic model selection and avoid the local optima at the same time. Our preliminary experiments show that this kind of regularized likelihood learning leads to the better results in some applications such as unsupervised image segmentation. In this project, we aim to achieve some improvements in machine learning and image understanding through proposing a unified framework for automatic model selection and then evaluating it in some applications such as image segmentation and classification.

英文关键词: model selection; finite mixture models; regularization theory; image understanding.

成为VIP会员查看完整内容
8

相关内容

专知会员服务
140+阅读 · 2021年8月12日
【经典书】机器学习统计学,476页pdf
专知会员服务
120+阅读 · 2021年7月19日
专知会员服务
73+阅读 · 2021年6月12日
专知会员服务
69+阅读 · 2021年3月29日
923页ppt!经典课《机器学习核方法》,附视频
专知会员服务
104+阅读 · 2021年3月1日
专知会员服务
94+阅读 · 2021年2月6日
基于机器学习的数据库技术综述
专知会员服务
53+阅读 · 2021年1月2日
机器学习的可解释性
专知会员服务
173+阅读 · 2020年8月27日
专知会员服务
219+阅读 · 2020年8月1日
IJCAI 2021 | 一文了解微软亚洲研究院机器学习方向前沿进展
微软研究院AI头条
0+阅读 · 2021年8月24日
图像描述生成研究进展
专知
1+阅读 · 2021年3月29日
深度学习模型可解释性的研究进展
专知
23+阅读 · 2020年8月1日
最全综述 | 图像分割算法
极市平台
23+阅读 · 2019年6月23日
【机器学习】深入剖析机器学习中的统计思想
产业智能官
14+阅读 · 2019年1月24日
从最大似然到EM算法:一致的理解方式
PaperWeekly
18+阅读 · 2018年3月19日
贝叶斯机器学习前沿进展
机器学习研究会
20+阅读 · 2018年1月21日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
2+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2022年4月17日
Arxiv
0+阅读 · 2022年4月14日
Arxiv
14+阅读 · 2021年3月10日
Arxiv
10+阅读 · 2020年11月26日
Arxiv
22+阅读 · 2018年8月30日
小贴士
相关VIP内容
专知会员服务
140+阅读 · 2021年8月12日
【经典书】机器学习统计学,476页pdf
专知会员服务
120+阅读 · 2021年7月19日
专知会员服务
73+阅读 · 2021年6月12日
专知会员服务
69+阅读 · 2021年3月29日
923页ppt!经典课《机器学习核方法》,附视频
专知会员服务
104+阅读 · 2021年3月1日
专知会员服务
94+阅读 · 2021年2月6日
基于机器学习的数据库技术综述
专知会员服务
53+阅读 · 2021年1月2日
机器学习的可解释性
专知会员服务
173+阅读 · 2020年8月27日
专知会员服务
219+阅读 · 2020年8月1日
相关资讯
IJCAI 2021 | 一文了解微软亚洲研究院机器学习方向前沿进展
微软研究院AI头条
0+阅读 · 2021年8月24日
图像描述生成研究进展
专知
1+阅读 · 2021年3月29日
深度学习模型可解释性的研究进展
专知
23+阅读 · 2020年8月1日
最全综述 | 图像分割算法
极市平台
23+阅读 · 2019年6月23日
【机器学习】深入剖析机器学习中的统计思想
产业智能官
14+阅读 · 2019年1月24日
从最大似然到EM算法:一致的理解方式
PaperWeekly
18+阅读 · 2018年3月19日
贝叶斯机器学习前沿进展
机器学习研究会
20+阅读 · 2018年1月21日
相关基金
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
2+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员