An Empirical Study on Feature Discretization
Qiang Liu 1122 Zhaocheng Liu 11 Haoli Zhang 11
Abstract
When dealing with continuous numeric features, we usually adopt feature discretization. In this work, to find the best way to conduct feature discretization, we present some theoretical analysis, in which we focus on analyzing correctness and robustness of feature discretization. Then, we propose a novel discretization method called Local Linear Encoding (LLE). Experiments on two numeric datasets show that, LLE can outperform conventional discretization method with much fewer model parameters.
中文速览
连续数值特征如何离散化一直是机器学习预处理中的经典难题——分的箱子太少，精度差；分得太细，又容易过拟合。本文从理论上证明了离散化的"正确性"与"鲁棒性"之间存在内在权衡，并在此基础上提出了一种名为局部线性编码（Local Linear Encoding, LLE）的新方法：与传统做法给每个离散区间分配一个固定嵌入向量不同，LLE在每个区间内对上下边界的嵌入向量做线性插值，从而在不损失鲁棒性的前提下显著提升了表示精度。在HIGGS和SUSY两个大规模数值数据集上的实验表明，LLE在逻辑回归和深度神经网络两种模型下均全面优于传统离散化和多粒度离散化方法，且所需模型参数量远少于后者。这一方法简单易实现，为工业界广泛使用的特征离散化提供了一个理论有保障、实践效果更好的替代方案。
原文 arXiv:2004.12602;中英对照 + 大白话阅读 https://aha.fim.ai/paper/2004.12602v1