GTC Japan 2017 深層学習フレームワークメモです.

GTC Japan 2017

先日GTC Japan 2017というカンファレンスに参加してきたので,深層学習フレームワークについて動向を殴り書きでメモ.

トレンドとしては,

  • Eager execution (define-by-run)

    • トレンドというか2015年にChainerが登場して以降普及し始めた.
    • TensorFlowにeager execution追加.
      • まだcontribだけど.
    • 言わずもがなPyTorch,Gluon.
    • SonyのNNablaはdefine-by-runとdefine-and-runの両方に対応.
    • Facebookは研究にdefine-by-runであるPyTorchを,
    • デプロイにはdefine-and-runであるCaffe2を使っている.
      • やっぱりデバッグしやすいのでdefine-by-runは研究向き?
  • モバイル向け最適化

    • TFLiteやCaffe2等.
  • 分散処理

    • 大量のGPUを使っても性能が線形にスケールすることを各社アピール.
  • ONNX

    • Open Neural Network Exchange
    • ニューラルネットワークのモデルの標準化を行い,ONNXを介すことによって様々なフレームワーク間で容易にモデルを変換できるようになる.
    • RNNとかはまだ?
    • Caffe2,Gluon,Chainer等対応.

なんか抜けている気がするので書き足すかも.