DataQuaner
机器学习系列之决策树算法(07):梯度提升树算法XGBoost 机器学习系列之决策树算法(07):梯度提升树算法XGBoost
前言XGBoost的全称是eXtreme Gradient Boosting,它是经过优化的分布式梯度提升库,旨在高效、灵活且可移植。XGBoost是大规模并行boosting tree的工具,它是目前最快最好的开源 boosting tr
机器学习系列之决策树算法(09):ID3、C4.5、CART、随机森林、bagging、boosting、Adaboost、GBDT、xgboost算法总结 机器学习系列之决策树算法(09):ID3、C4.5、CART、随机森林、bagging、boosting、Adaboost、GBDT、xgboost算法总结
最近心血来潮,整理了一下和树有关的方法和模型,请多担待! 决策树首先,决策树是一个有监督的分类模型,其本质是选择一个能带来最大信息增益的特征值进行树的分割,直到到达结束条件或者叶子结点纯度到达一定阈值。下图是决策树的一个简单例子 按照分割
机器学习系列之决策树算法(05):梯度提升树算法GBDT 机器学习系列之决策树算法(05):梯度提升树算法GBDT
1 前言前面讲述了《决策树的特征选择》、《决策树的生成》、《决策树的剪枝》,熟悉了单棵决策树的的实现细节,在实际应用时,往往采用多棵决策树组合的形式完成目标任务。那么如何组合单棵决策树可以使得模型效果更优呢?目前主要有两种思想:baggin
机器学习系列之决策树算法(01):决策树特征选择 机器学习系列之决策树算法(01):决策树特征选择
1.什么是特征选择【特征选择】顾名思义就是对特征进行选择,以达到提高决策树学习的效率的目的。 【那么选择的是什么样的特征呢?】这里我们选择的特征需要是对训练数据有分类能力的特征,如果一个特征参与分类与否和随机分类的结果差别不大的话,我们就说
2 / 2