Guided Random Forest in the RRF Package
Houtao Deng Intuit, Mountain View, CA 94043, USA.
Abstract
Random Forest (RF) is a powerful supervised learner and has been popularly used in many applications such as bioinformatics. In this work we propose the guided random forest (GRF) for feature selection.
中文速览
基因表达数据动辄包含数千个特征，如何从中筛选出真正有用的少数特征、同时保持甚至提升分类精度，是生物信息学中的核心难题。作者提出了"引导随机森林"（Guided Random Forest，GRF）方法：先用一个普通随机森林计算每个特征的重要性得分，再用这些得分对节点分裂时的信息增益进行加权惩罚，使重要性低的特征更难被选入树中，而各棵树之间相互独立、可并行构建。在10个高维基因数据集上的实验表明，用GRF筛选出的特征子集再训练随机森林（GRF-RF），在9个数据集上的分类错误率低于使用全部特征的随机森林，其中7个数据集的差异在0.05显著性水平上成立，同时所用特征数量大幅减少。这一方法在提升模型可解释性的同时还改善了预测精度，且无需调参即可奏效，对任何需要兼顾准确率与简洁性的高维分类任务都具有实用价值。
原文 arXiv:1306.0237;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1306.0237v3