梦晨 发自 凹非寺 量子位 报道 | 公众号 QbitAI有一天，一个调参侠在训练一个深度学习模型，要用到的两个数据集损失函数不同，数据集的大小还不是固定的，每天都在增加。他有点发愁，这该怎么设置Epoch数呢？在纠结的过程中，他突然想到：干嘛非得定一个Epoch数？只要对每个Batch进行独立同分布抽样 (IID Sampling)不就得了。为了验证这个想法，调参侠去看了很多论文。发现越来越多的人介绍他们的训练方法时，只说进行了多少个Iteration，而抛弃了Epoch。他想到，Epoch暗示并强调了数据集是有限的，这不仅麻烦，还有潜在的“危害”。把Epoch去掉，让循环嵌套的层数少一层总是好的。于是他在Reddit发起了讨论：Epoch是不是过时了，甚至还有危害？Epoch多余吗？有人对这个观
………………………………
