自動微分 - 知識の本棚

ディープラーニング系の記事では損失関数を定義して終わりという記事をよく見る。
しかしそれでいいのかという疑問があった。
バックプロパゲーションのように、損失関数をどう微分するかが大事なんじゃないか。
損失関数を見ていたら微分が簡単そうには見えない関数ばかりだ。
微分可能性は調べなくていいのか？
どうやって微分を計算しているんだ？

そこで詰まっていた。
でもようやく解決した。
どうやら計算機で自動的に微分する機能があるらしい。
眉唾だが、どんな複雑な微分でもできてしまうという。
仕組みを調査中だが、今後掘り下げていくつもり

Keyword

参考になりそうなサイト：

自動微分 - Wikipedia
ボトムアップ型自動微分の実験 - kivantium活動日記
 二重数で自動微分する - Qiita

応用

数理ファイナンスへの応用：
自動微分事例：数理ファイナンス分野

精度と微分方程式への応用：
>Self-Validation

ロボット工学への応用
調査中