谷歌大脑新算法，不折腾TPU就能加快AI训练速度

鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI训练神经网络，硬件要过硬？现在谷歌提出强有力反驳。GPU和像谷歌TPU这样的硬件加速器大大加快了神经网络的训练速度，推助AI迅速成长，在各个领域发挥超能力。然而，硬件发展再迅速，也总有力有不逮的时候。比如，由于芯片的架构方式，像数据预处理这样的训练pipeline早期阶段并不会受益于硬件加速器的提升。谷歌大脑的科学家们可不希望看到算法掣肘硬件，于是他们研究出了一种名为“数据回放（Data Echoing）”的新技术。加速神经网络训练速度，这回不靠折腾半导体。Data Echoing的黑科技新的加速方法的核心在于减少训练pipeline早期阶段消耗的时间。按照经典的训练pipeline，AI系统先读取并解码输入数据，然后对数据 ………………………………