随机森林 指的是利用多棵树对样本进行训练并预测的一种分类器。

知识荟萃

基础入门

随机森林

1.Bagging及随机森林 作者:王大宝的CD http://blog.csdn.net/sinat_22594309/article/details/60465700

描述:上一次我们讲到了决策树的应用,但其实我们发现单棵决策树的效果并不是那么的好,有什么办法可以提升决策树的效果呢?这就是今天要提到的Bagging思想。

2.Bagging与随机森林算法原理小结 作者: 刘建平Pinardd http://www.cnblogs.com/pinard/p/6156009.html

描述:在集成学习原理小结中,我们讲到了集成学习有两个流派,一个是boosting派系,它的特点是各个弱学习器之间有依赖关系。另一种是bagging流派,它的特点是各个弱学习器之间没有依赖关系,可以并行拟合。本文就对集成学习中Bagging与随机森林算法做一个总结。

3.集成学习:Bagging与随机森林 作者:bigbigship http://blog.csdn.net/bigbigship/article/details/51136985

描述:Bagging是并行式集成学习方法的著名代表,它是基于自助采样法(有放回的取样)来提高学习器泛化能力的一种很高效的集成学习方法。

4.Bagging(Bootstrap aggregating)、随机森林(random forests)、AdaBoost 作者:xlinsist http://blog.csdn.net/xlinsist/article/details/51475345

描述:在这篇文章中,我会详细地介绍Bagging、随机森林和AdaBoost算法的实现,并比较它们之间的优缺点,并用scikit-learn分别实现了这3种算法来拟合Wine数据集。全篇文章伴随着实例,由浅入深,看过这篇文章以后,相信大家一定对ensemble的这些方法有了很清晰地了解。

5.Bagging(Bootstrap aggregating)、随机森林(random forests)、AdaBoost http://www.mamicode.com/info-detail-1363258.html

描述:在这篇文章中,我会详细地介绍Bagging、随机森林和AdaBoost算法的实现,并比较它们之间的优缺点,并用scikit-learn分别实现了这3种算法来拟合Wine数据集。全篇文章伴随着实例,由浅入深,看过这篇文章以后,相信大家一定对ensemble的这些方法有了很清晰地了解。

6.分类器组合方法Bootstrap, Boosting, Bagging, 随机森林(一) 作者:Maggie张张 http://blog.csdn.net/zjsghww/article/details/51591009

描述: 提到组合方法(classifier combination),有很多的名字涌现,如bootstraping, boosting, adaboost, bagging, random forest 等等。那么它们之间的关系如何?

7.Bagging与随机森林算法原理小结 作者:6053145618 http://blog.sina.com.cn/s/blog_168cbac120102xbaz.html

描述:在集成学习原理小结中,我们讲到达集成学习有两个流派,一个是boosting派系,它的特点是各个弱学习器之间有倚赖关系。另一种是bagging流派,它的特点是各个弱学习器之间没有倚赖关系,可以并行拟合。本文就对集成学习中Bagging与随机森林算法做一个总结。

8.集成学习(Boosting,Bagging和随机森林) 作者:combatant_yunyun http://blog.csdn.net/u014665416/article/details/51557318

9.基于adaboost,bagging及random forest算法对人脸识别的初探 作者:liyuxin6 http://www.dataguru.cn/thread-290341-1-1.html

描述:人脸识别,也就是给一张脸我们就能让电脑判断这是谁的脸,是一个很有趣的话题。如何才能让电脑也能像我们一样能认出其他人的脸并不是一件容易的事儿:首先你得从一个人的多张脸的图片(训练集)提取出他的脸的特征,然后再将这些特征与新的图片(测试集)进行比较,如果特征都差不多,那这十有八九得是同一张脸。

10.机器学习第5周--炼数成金-----决策树,组合提升算法,bagging和adaboost,随机森林 http://www.mamicode.com/info-detail-1297465.html

描述:随机森林算法优点 准确率可以和Adaboost媲美、对错误和离群点更加鲁棒性、决策树容易过度拟合的问题会随着森林规模而削弱、在大数据情况下速度快,性能好

11.集成学习 (AdaBoost、Bagging、随机森林 ) python 预测 作者:江海成 http://blog.csdn.net/qingyang666/article/details/66472981

描述:森林的一个通俗解释就是:由一组决策树构建的复合分类器,它的特点是每个决策树在样本域里使用随机的特征属性进行分类划分。最后分类时投票每棵分类树的结论取最高票为最终分类结论。

进阶文章

视频教程

报告

Github 代码

名人主页

VIP内容

考虑到用户数据删除请求、删除噪声的示例或删除损坏的训练数据,这只是希望从机器学习(ML)模型中删除实例的几个原因。然而,从ML模型中有效地删除这些数据通常是困难的。在本文中,我们引入了数据移除(DaRE)森林,这是随机森林的一种变体,可以在最少的再训练的情况下删除训练数据。森林中每棵DaRE树的模型更新都是精确的,这意味着从DaRE模型中删除实例产生的模型与对更新后的数据进行从头再训练完全相同。

DaRE树利用随机性和缓存来高效删除数据。DaRE树的上层使用随机节点,它均匀随机地选择分割属性和阈值。这些节点很少需要更新,因为它们对数据的依赖性很小。在较低的层次上,选择分割是为了贪婪地优化分割标准,如基尼指数或互信息。DaRE树在每个节点上缓存统计信息,在每个叶子上缓存训练数据,这样当数据被删除时,只更新必要的子树。对于数值属性,贪婪节点在阈值的随机子集上进行优化,以便在逼近最优阈值的同时保持统计量。通过调整贪婪节点的阈值数量和随机节点的数量,DaRE树可以在更准确的预测和更有效的更新之间进行权衡。

在13个真实数据集和一个合成数据集上的实验中,我们发现DaRE森林删除数据的速度比从头开始训练的速度快几个数量级,同时几乎不牺牲预测能力。

https://icml.cc/Conferences/2021/Schedule?showEvent=10523

成为VIP会员查看完整内容
0
12

最新论文

Although Deep Neural Networks (DNNs) achieve excellent performance on many real-world tasks, they are highly vulnerable to adversarial attacks. A leading defense against such attacks is adversarial training, a technique in which a DNN is trained to be robust to adversarial attacks by introducing adversarial noise to its input. This procedure is effective but must be done during the training phase. In this work, we propose Augmented Random Forest (ARF), a simple and easy-to-use strategy for robustifying an existing pretrained DNN without modifying its weights. For every image, we generate randomized test time augmentations by applying diverse color, blur, noise, and geometric transforms. Then we use the DNN's logits output to train a simple random forest to predict the real class label. Our method achieves state-of-the-art adversarial robustness on a diversity of white and black box attacks with minimal compromise on the natural images' classification. We test ARF also against numerous adaptive white-box attacks and it shows excellent results when combined with adversarial training. Code is available at https://github.com/giladcohen/ARF.

0
0
下载
预览
Top