您好,欢迎来到网暖!

当前位置:网暖 » 站长资讯 » 建站基础 » 网络技术 » 文章详细 订阅RssFeed

机器学习算法-随机森林(Random Forest)

来源:网络整理 浏览:288次 时间:2022-05-17

1、随机森林算法

随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。随机森林属于机器学习的一大分支——集成学习(EnsembleLearning)方法。随机森林具有对于很多种资料,可以产生高准确度的分类器;可以处理大量的输入变数;可以在决定类别时,评估变数的重要性;可以在内部对于一般化后的误差产生不偏差的估计;对于不平衡的分类资料集来说,可以平衡误差等优点。

2、随机森林算法步骤

首先,对样本数据进行有放回的抽样,得到多个样本集。具体来讲就是每次从原来的N个训练样本中有放回地随机抽取N个样本(包括可能重复样本)。

然后,从候选的特征中随机抽取m个特征,作为当前节点下决策的备选特征,从这些特征中选择最好地划分训练样本的特征。用每个样本集作为训练样本构造决策树。单个决策树在产生样本集和确定特征后,使用CART算法计算,不剪枝。

最后,得到所需数目的决策树后,随机森林方法对这些树的输出进行投票,以得票最多的类作为随机森林的决策。

3、随机森林应用举例

案例中使用的是sklearn中集成好的库,直接调用即可。


代码:

import numpyas np

import matplotlib.pyplotas plt

from sklearn.tree import DecisionTreeRegressor 

N=100

x = np.random.rand(N) * 6 - 3

x.sort()

y=0.1*x**3+np.exp(-x*x/2)+ np.random.randn(N) * 0.2 

x = x.reshape(-1, 1)

x_bar=np.linspace(-3,3,50).reshape(-1,1)

y_bar=0.1*x_bar**3+np.exp(-x_bar*x_bar/2)

plt.plot(x,y,'r.')

plt.plot(x_bar,y_bar)

plt.show()

plt.plot(x,y,'r.')

x_test=np.linspace(-3,3,50).reshape(-1,1)

dt = DecisionTreeRegressor(criterion='mse')

depth=[3,6,18]

color='rgy'

for d,c in zip(depth,color):

    dt.set_params(max_depth=d)

    dt.fit(x,y)

    y_test = dt.predict(x_test)

    plt.plot(x_test,y_test,'-',color=c,linewidth=2, label='Depth=%d' % d)

plt.legend(loc='upperleft')

plt.xlabel(u'X')

plt.ylabel(u'Y')

plt.grid(b=True)

plt.show()

结果:


推荐站点

  • 腾讯腾讯

    腾讯网(www.QQ.com)是中国浏览量最大的中文门户网站,是腾讯公司推出的集新闻信息、互动社区、娱乐产品和基础服务为一体的大型综合门户网站。腾讯网服务于全球华人用户,致力成为最具传播力和互动性,权威、主流、时尚的互联网媒体平台。通过强大的实时新闻和全面深入的信息资讯服务,为中国数以亿计的互联网用户提供富有创意的网上新生活。

    www.qq.com
  • 搜狐搜狐

    搜狐网是全球最大的中文门户网站,为用户提供24小时不间断的最新资讯,及搜索、邮件等网络服务。内容包括全球热点事件、突发新闻、时事评论、热播影视剧、体育赛事、行业动态、生活服务信息,以及论坛、博客、微博、我的搜狐等互动空间。

    www.sohu.com
  • 网易网易

    网易是中国领先的互联网技术公司,为用户提供免费邮箱、游戏、搜索引擎服务,开设新闻、娱乐、体育等30多个内容频道,及博客、视频、论坛等互动交流,网聚人的力量。

    www.163.com
  • 新浪新浪

    新浪网为全球用户24小时提供全面及时的中文资讯,内容覆盖国内外突发新闻事件、体坛赛事、娱乐时尚、产业资讯、实用信息等,设有新闻、体育、娱乐、财经、科技、房产、汽车等30多个内容频道,同时开设博客、视频、论坛等自由互动交流空间。

    www.sina.com.cn
  • 百度一下百度一下

    百度一下,你就知道

    www.baidu.com