第36章 决策树的优势
叶伯良对于自己的项目很看重,不仅仅是因为这个项目本身就很重要。
最主要的是,倘若这个项目成功了,那么他有很大的希望进入科学院。
对于每一个做学术和研究的人来说,能够进入科学院是一种莫大的荣耀,代表着对自己应用研究的认可。
常严宁是整个项目里相当重要的一个角色,技术水平高,而且人还老实本分,对于项目还有极高的热情。
这样一个人突然罢工,叶伯良自然要来看看究竟是怎么一回事。
“什么全新版本?”
叶伯良先是瞥了夏宣一眼,很快就被常严宁拉在了电脑前。
“叶教授,你看这个!”
常严宁对着电脑屏幕指指点点,很是激动:
“你看见了吗?这里的数据清洗使用的是最普通的方式,但是经过这个决策树的预设,准确率却能够超出我们的平均数值!”
“可是你看这个决策树,没有剪枝,没有限制深度,甚至来说叶子的节点反而更多,但是能够达到像C5.0一样的正则化,所以完全没有过拟合的问题。”
“它对于特征的选择上,既可以像随机森林这样提供特征重要性的评分,还可以像L1正则化那样,让一些特征的系数变为0,甚至还有RFE的包裹式选择……可以说,在决策的初级阶段,就已经完成了交叉验证。”
“还有,还有……”
常严宁像个刚刚拿到新玩具的小孩子一样,朝着叶伯良炫耀今天做出来的成果。
大佬没有开口,夏宣只能在一边默默看着。
叶伯良原本并不在意,可是随着常严宁的介绍,他也逐渐投入其中,并且越看越心惊。
不同决策树的类型是有不同的适用场景的,在实际应用当中,面对不同的问题都需要尝试最适合的模型。
可是,现在看见的这个决策树模型,明显是一个基于ID3这种决策树早期算法形式创新的,却能够拥有其他模型的优势。
所有决策树模型都有过拟合的风险,可这个模型看起来更加复杂,但没有做出任何过拟合的方式,却能够规避过拟合的风险。
更别提这个特征选择了,远超当前,极大的提高模型性能,减少了计算成本。
对于AI,或者说人工智能而言。
决策树是机器学习的算法,而决策树越是优秀,那么在实际表现里面,就会显得更加的智能。
当前主流的决策树有八种类型,基本上除却其中的C4.5和C5.0是分别基于ID3优化改进的以外,其他的诸如随机森林、GBDT等等,都有各自的优势所在。
比如CART常用于分类和回归任务,GBDT可以迭代地添加新的树来纠正前一棵树的错误,XGBoost优化了分布式梯度提升库……
可是眼前这个决策树,看起来像是融合了所有树的优势。
它可以迭代地添加新的树,而新的树不仅可以纠正错误,还能够集成学习,再次构建多个决策树,并且将它们的预测结果进行汇总。
在这多个决策树里面,又有梯度提升框架,利用直方图的算法来加快训练速度和减少内存使用……
就好像一颗种子,生根发芽,然后开始长出枝丫,每一根枝丫又能够分裂出新的枝丫,然而这些新的枝丫却拥有不同的作用与效果。
最后一棵枝叶茂盛并且五彩斑斓的大树出现了,面对不同问题都能够生出相应的决策树来进行计算和解决。
“小常,这是你弄出来的?”
叶伯良眼里是藏不住的惊喜。
这个决策树是还没有完成的,但是有了前面这些基础,已经能够大概看出整个决策树的轮廓。
对于整个AI行业来说,这棵决策树就像那个种子,绝对能够让整个行业进行非常大的提升。
“这主要还是丁仁松。”常严宁抓抓头,笑道:“有不少地方,我都没有想好怎么处理,还是他给我找出了解决办法的。”
夏宣得到了大佬的指示,连忙说道:“我只是提供了一个基础的想法,还是得靠常工手把手完成的。”
“丁仁松……”
叶伯良看向夏宣,他思忖了一番,开始与夏宣探讨起来。
他故意提出了一些比较困难的问题,想要考较一番。
对于这些问题,夏宣的回答很慢,有时候还会静静思考好几秒,然后才能磕磕绊绊地回答。
不过,虽说回答得磕磕绊绊,却是非常精准,甚至还能举一反三,根据这个问题作出延伸,提出了更加新颖并且看起来极有可行性的想法。
几番过后,叶伯良就觉得这是一块宝玉。
不是没有那种未经雕琢的璞玉,而是一块真正的宝玉!
叶伯良急不可耐地问道:“仁松啊,你是哪个项目组的?”
他与常严宁一般,都想要把夏宣拉进自己的项目里面。
眼前这个男孩,绝对是一个天才,他没有经历过一些项目的玷污,这也正是难得可贵的地方,因为他会自己去思考。
“我刚刚来研究所,还没有加入具体的项目。”夏宣回答道。
常严宁也点点头:“他刚从国外回来,是宋教授招进研究所的,还只是个实习生。”
“老宋啊……”
叶伯良摸了摸下巴,突然猛地一拍桌子:
“老宋那边我去说,你现在就直接来我们项目组!”
听见叶教授拍板说出这句话,常严宁眼睛一亮,激动地说道:“真的吗?那太好了!”
夏宣觉得常严宁的激动有些莫名其妙,看起来比他这个当事人一样激动。
“呃……”他沉吟了一下,随后说道:“叶教授,我还没考虑好加入什么项目呢,而且我想带着成果加入项目。”
“你还考虑什么啊?”
叶伯良笑道:“你这个决策树最适合的项目就是AI了,而我手里的项目刚好就是AI相关的,并且燕京那边研究所里的AI我也有参与,你要是进来的话,刚好可以直接尝试把这个决策树应用上。”
“真的吗?”夏宣问道。
“那肯定的啊!”叶伯良肯定道,“并且燕京那边的项目属于国家级项目,你这个如果被采用了,到时候项目完成,你绝对占大头功劳。”
“可我还是想先把这个决策树完成了,到时候再考虑选择什么项目。”夏宣犹豫道。
话说到这里,叶伯良有些着急了。
一方面是夏宣表现出来的才华与能力难得可贵,若是成长下去,有机会带领整个行业产生革命的。
另一方面,他也着急把夏宣带进自己的项目里,有了夏宣这样的帮助,他觉得等项目完成了,科学院院士属于板上钉钉。
“你现在就只想把这个决策树弄好?”叶伯良问道。
夏宣点头:“是的。”
“那这样行不行,我帮你把这个决策树弄好,你到时候加入我的项目,老宋那边你不用怕,我去跟他说。”叶伯良提议道。
“这……可以吗?”夏宣犹豫一下。
“当然可以!就这么说定了!”
叶伯良拍板了,“你等着,我这就叫人过来,帮你把这个项目给弄好!”
他雷厉风行,直接打了几个电话。
“好了,我把我项目里派得上用场的研究员,全都叫过来了。”
夏宣发自内心地说道:“谢谢叶教授,你人真好,我很尊敬您。”
“那倒不必。”叶伯良笑眯眯地说道,“最主要的还是你有能力、有想法。”
“谢谢夸奖。”
夏宣笑着说道:“不过,我觉得我还是要去跟宋教授说一声,毕竟是他招我进来的,无论如何也要当面对他说一声抱歉。”
“行,你去吧。”
“嗯嗯……”
夏宣朝着门口走去,像是忽然想起了什么一样,回头说道:
“对了,关于决策树后续的思路,我已经给常工说了,待会其他师兄过来了,可以让常工先跟他们说一说我的思路。”
“没问题。”叶伯良心情愉悦,笑呵呵地说道:“你早去早回。”