导读：我们在研究与应用深度学习时，会碰到一个无法绕过的内容，就是微分求导，再具体点其实就是反向传播。如果我们只是简单地应用深度学习、搭搭模型，那么可以不用深究。但是如果想深入的从工程上了解深度学习及对应框架的实现，那么了解程序是如何进行反向传播，自动微分就十分重要了。本文将一步步的从简单的手动求导一直谈到自动微分。
我们目前可以将微分划分为四大类：Manual Differentiation、Symbolic Differentiation、Numeric Differentiation、Automatic Differentiation。
Manual Differentiation
Manual Differentiation正如字面意思所写，就是手动对函数求导。
比如下式就是个简单的函数。
对x求导可得：
