阿里妈妈基于TensorFlow做了哪些深度优化？TensorFlowRS架构解析

一． 综述深度学习比传统的逻辑回归有着更强的模型刻画能力，同时也带来了计算力百倍提升的需求。相比图像、语音、视频等领域，搜索、广告、推荐等场景有着独特的场景特点: 样本规模和特征空间通常非常巨大，千亿样本、百亿特征并不罕见，同时存在大量的稀疏特征作为Embedding输入。这就要求我们针对此场景下的计算特点对深度学习框架进行设计和优化。本文所阐述的工作由阿里妈妈基础平台团队与PAI团队合作完成，我们基于TensorFlow在搜索、广告、推荐场景下进行了深度的优化与增强，内部项目名称为TensorFlowRS，主要的成果如下：(1) 解决了原生TF水平扩展能力不足的问题。在我们的测试中，绝大多数搜索广告模型的训练性能提升在十倍以上，某些模型 ………………………………