Provable approximation properties for deep neural networks
Uri Shaham Statistics department, Yale University Alexander Cloninger Applied Mathematics program, Yale University Ronald R. Coifman Applied Mathematics program, Yale University
Abstract
We discuss approximation of functions using deep neural nets. Given a function $f$ on a $d$ -dimensional manifold $\Gamma\subset\mathbb{R}^{m}$ , we construct a sparsely-connected depth-4 neural network and bound its error in approximating $f$ . The size of the network depends on dimension and curvature of the manifold $\Gamma$ , the complexity of $f$ , in terms of its wavelet description, and only weakly on the ambient dimension $m$ . Essentially, our network computes wavelet functions, which are computed from Rectified Linear Units (ReLU).
中文速览
低维流形上的函数可以用一个四层稀疏神经网络高效逼近——这是本文的核心结论。真实数据（图像、语音等）往往分布在高维空间中的低维流形（manifold）上，而经典逼近理论的误差界通常随环境维度 m 指数增长，造成所谓"维度灾难"。作者的方法是：先用整流线性单元（ReLU）构造小波框架（wavelet frame），再利用流形的图册（atlas）和单位分解（partition of unity）将流形上的函数分解为若干局部欧氏坐标系上的函数之和，最后用深度为 4 的稀疏网络依次完成"投影到局部坐标→计算小波系数→求和重建"这一流程。理论上，网络规模主要取决于流形的内在维度 d 和曲率，而非环境维度 m，当 d 远小于 m 时优势显著；对于小波系数属于 $\ell_1$ 的函数，$L_2$ 误差以 $N^{-1/4}$ 的速率收敛，对 $C^2$ 函数则给出点态误差界。这一结果在理论上解释了深度网络为何能在高维数据上仍表现出色，并为网络深度和宽度的选取提供了可解释的数学依据。
原文 arXiv:1509.07385;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1509.07385v3