The Description Length of Deep Learning Models
Léonard Blier École Normale Supérieure Paris, France、Yann Ollivier Facebook Artificial Intelligence Research Paris, France
Abstract
Solomonoff’s general theory of inference (Solomonoff, 1964) and the Minimum Description Length principle (Grünwald, 2007, Rissanen, 2007) formalize Occam’s razor, and hold that a good model of data is a model that is good at losslessly compressing the data, including the cost of describing the model itself. Deep neural networks might seem to go against this principle given the large number of parameters to be encoded.
中文速览
深度神经网络拥有海量参数，按照奥卡姆剃刀原则和最小描述长度（MDL）理论，人们会担心它们根本无法真正"压缩"数据，只是死记硬背。本文专门测量了主流深度网络对训练数据的实际压缩能力，同时把模型参数本身的编码代价也算进去。实验发现：原本为最小化压缩界而设计的变分推断方法（variational inference）给出的压缩界出奇地差，远不如一种基于序列增量编码的"预序列编码"（prequential coding）方法；后者在深度网络上能产生远低于均匀编码基线的比特数，说明深度网络即便计入参数代价，依然能有效压缩数据。这一结果既为深度学习的泛化能力提供了信息论层面的解释，也暗示变分方法在实践中表现欠佳的原因可能恰恰在于其压缩界本身就很松弛。
原文 arXiv:1802.07044;中英对照 + 大白话阅读 https://aha.fim.ai/paper/1802.07044v5