ディープラーニングで1枚の写真から動画が制作できるようになった！ - ギズモード・ジャパン

昔の写真を見るとなつかし〜い気持ちになるけど、昔のビデオを見ちゃうと一気にタイムトリップする感覚ありますよね。

そんな動画の持つチカラを写真から引き出せないか？ということで、米ワシントン大学がディープラーニング（深層学習）を用いてまさにそれをやってのけました。たった1枚の写真から、同じ場所で撮った動画をレファレンスすることなく映像を作り出せちゃうそうです。

｢水｣の流れを再現

機械学習はこれまでにも画像を拡張する分野でポテンシャルを発揮してきており、たとえばMy Heritageという会社がすでに昔の肖像画に動きを与える技術を開発しています。一方で、今回ワシントン大のコンピューターサイエンス工学学科が開発した新しいアプローチは、自然界における水・雲・煙などの流れる事象に焦点を当てています。

Gif: University of Washington via Gizmodo US

技術の仕組みはこうです。まず、どんなディープラーニングモデルにも共通している点として、大量のデータを読み込ませて、学習させます。この場合は河川、滝、海など、とにかく水の動きを表現している動画ならなんでも。次に、水の流れを表現している動画の最初のワンフレームだけを切り取ってモデルに見せて、その後の水の動きをモデルに予測させます。さらに、予測した結果と実際の動画とを比べさせることで、ディープラーニングモデルに水の動きを少しずつ学ばせていくそうです。

このような学習をひととおり行なった上で一枚の写真を与えると、モデルはフレームごとにピクセル単位で水の動きを予測し、短い動画を作り出してくれるというわけです。

ただし、ここでひとつ問題が。本物の川や滝は絶えず流れ続けるので、水の動きを再現するためにピクセルの位置を移動させたら、水がもともとあった場所が空白にならないように新しい水の画像を補填する必要が出てきますよね。そこで、研究者たちが開発したのが｢symmetric splattering（対照的な飛散）｣というテクニックです。これは時間の流れとともに水がどのようにふるまうかを予測すると同時に、時間の流れと逆行して水がどのように動くのかも予測して、そのふたつの異なる動画を絶妙にブレンドすることによってリアリティーを帯びた永遠ループ動画の作成を可能にしたそうです。

｢光｣はまだ再現できず

このディープラーニングモデルを使って動画を実際作ってみた結果はまちまちだったそうです。

本物の映像かとみまごうほど見事に再現できた例もある一方、脳が｢んー、なんかちょっと変だぞ？｣と訝しむような例も。その理由のひとつとして、今回のディープラーニングモデルは水の動きや煙が光に及ぼす影響をまったく考慮していないとのこと。水面が光を複雑に反射する様子などは、私たちが普段から見慣れているものだけあって、ちょっとでも不自然な動きをしているとすぐ違和感を覚えるんですね。煙や霧が背後にある景色を隠したり、歪ませたりするのも同様です。

しかし、これらはディープラーニングモデルにさらにたくさんの学習用の動画を読み込ませればやがて克服できるレベルの問題ですし、すでにスマートフォンなどに搭載されている画像編集機能を使って加工することだってできそうです。

そのうちこの技術が一般的になったら、お気に入りの写真に動きが加わってよりエモくなるかもね。

Adblock test (Why?)