Taskonomy: Disentangling Task Transfer Learningがおもしろい

26種類のCV系のタスクにおいて特定タスクで学習したモデルがどれだけ他のタスクに対する転移学習で使えるかを定量的に分析した論文
Taskonomy: Disentangling Task Transfer Learning

CVPR2018でBest paperを取ったようです。
論文中の図1に示したものが各タスク間の転移学習のしやすさを示したものです。
例えば、3D edgeを検出するモデルや法線を予測するモデルをpre trainedモデルとして使うことでreshadingやpoint matchingを予測するためのネットワークが少数の学習データから訓練可能であることが示されました。
3D edgeやNormalsからエッジが多く出ていますが、それらはRGBセンサとDepthセンサのアラインメントを取れば容易に取得可能(欠損をへらすには工夫が必要だと思いますが)。一方、Point MatchingやReshadingといったタスクに対するアノテーションはかなり面倒くさいかと思います。そこで、例えばReshadingタスクを解きたいときに、大量のデータでNormalタスク向けに訓練して、少数のアノテーションデータでReshadingタスク向けに訓練します。そうすると、比較的少ないアノテーションコストでReshading問題が解けてしまう!、精度の底上げが可能ということに嬉しさがあるのかなと思います。(ちゃんと読んでないので、間違ってたら言ってくださいw)

また、Transfer learningに使いやすいということは、共有して活用できる中間特徴があるはずなので、Multi task learningにも使えそうですね。
例えば、これもCVPR2018ですが
Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics
では、Semantic Segmentation、Instance Segmentation、Depth regressionを同時に解き適応的に各タスク間の重みを学習することで、個別に学習した性能を凌駕したことが示されてます。こんな感じでTransferしやすいタスク同士を予測対象として組み込むことで、性能向上を図れるのではないかなーと思います。

0 件のコメント :

コメントを投稿