XGBoost与GBDT的区别有哪些？

传统的高性能GBDT以重组CART蛋白树作为基学习器，XGBoost还支持线性分类器，这个时候XGBoost相当于L1和L2正则化的逻辑斯蒂回归（分类）或者线性回归（回归）；

传统的GBDT在优化的时候只用到一阶导数信息，XGBoost则对代价函数进行了二阶泰勒展开，得到一阶和二阶导数；

XGBoost在代价函数中加入了正则项，用于控制模型的复杂度。从权衡方差偏差来看，降低了模型的方差，使学习出来的模型更加简单，放置过拟合，这也是机器学习集成学习XGBoost优于传统GBDT的一个特性；

shrinkage（缩减），相当于学习速率（XGBoost中的eta）。集成学习XGBoost在进行完一次迭代时，会将叶子节点的权值乘上该系数，主要是为了削弱每棵树的影响，让后面有更大的学习空间。（GBDT也有学习速率）；

列抽样：XGBoost借鉴了随机森林的做法, 支持列抽样, 不仅防止过拟合，还能减少计算；

对缺失值的处理: 对于特征的值有缺失的样本，XGBoost还可以自动学习出它的分裂方向；

XGBoost工具支持并行。深度学习Boosting不是一种串行的结构吗?怎么并行的？注意XGBoost的并行不是tree粒度的并行，XGBoost也是一次迭代完才能进行下一次迭代的（第t次迭代的代价函数里包含了前面t-1次迭代的预测值）。XGBoost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），XGBoost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。

在生物信息学应用中，先期数据的载入对于内存容量的要求越来越高，蓝海大脑采用大内存深度学习服务器四路或者八路胖节点，可以在单节点中配置高达2TB内存，充分达到应用的实际需求。海量存储系统是生物信息学计算的先决条件。蓝海大脑不仅可以提供了专业的直连存储，更有8Gb接口的光纤存储系统，通过专有的存储节点构建Lustre并行文件系统，接入以太网，甚至40GB的Infiniband网络，总体容量可达到PB级，除此之外还考虑到用户的数据安全，数据备份等，从根本上解决了生物信息学的数据存储难题。