今天，蚂蚁金服在 Google Developer Day Shanghai 2019 上宣布开源了基于 TensorFlow 2.0 eager execution 的分布式深度学习系统 ElasticDL。基于 TensorFlow 的支持弹性调度的深度学习系统，据我们所知，ElasticDL 是第一 个。项目负责人王益和我们分享了 ElasticDL 项目的设计意图和现状，尤其是 ElasticDL 与 TensorFlow 2.0 以及 Kubernetes 的技术关联。
分布式深度学习的技术思路
基于 TensorFlow 的分布式训练系统大致可以分为以下四类：
其中，ElasticDL 位于田字格的右下角。之所以选择这条技术思路，是为了利用 Kubernetes 实现容错和弹性调度。
高性能计算和云计算
在深度学习技术研发的早期，涉及的人员相对少，共用一个计算集群的人相对少， 计算作业之间的协调可以通过口头交流实现。大家更关心缩短运行时间，也就是 从作业启动到结束的这段时间。高性能计算技术（HPC）是解决这个问题的有效 途径，比如 NVIDIA 的 cuBLAS 和 cuDNN 优化高性能数学计算、NCCL 优化 GPU 之间的通信效率。