ジョジョのキャラクター風に顔写真を変換する「JoJoGAN」 1枚の画像からAIが学習 - ITmedia

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　米イリノイ大学アーバナ・シャンペーン校の研究チームが開発した「JoJoGAN: One Shot Face Stylization」は、入力した1枚の顔画像を漫画「ジョジョの奇妙な冒険」のキャラクター風に変換する機械学習フレームワークだ。「空条承太郎」など、作中のキャラクタースタイルに似せた顔に変換する。このフレームワークは、大量のペア画像データセットを使わず、1枚の顔画像から学習できる特性を持つ。

この手法で左端の入力画像を変換した出力結果

　画像をスタイル変換するモデルは、大量のペア画像データセットを必要とするが、そのデータを準備するにはコストがかかる。数枚の画像からスタイル変換する研究も報告されているが、詳細なスタイルや多様性を捉えきれず、画質も不十分だ。

　この手法では、1枚の参照画像から近似するペア画像データを先に生成し、それを学習に使用する方法でこの問題に取り組む。具体的には、1枚の参照スタイル画像をGANで反転して実写に対する潜在変数を取得し、Random Style Mixingを行うことで近似のペア画像データセットを作成する。

　得られた近似のペア画像データセットには、さまざまな色特性を持つサブセットも含まれる。ペア画像データセットを生成した後は、事前に学習させたStyleGANを微調整する

近似のペア画像データセットを作成するパイプライン

　変換した顔画像を評価するために、先行研究の類似手法（StyleGAN -NADA、BlendGAN）で出力した画像と比べた結果、他の類似手法よりもこの手法の方が、入力画像の顔のアイデンティティーを保持したまま、目の形や線の太さなどの詳細な特徴を捉えた画像を生成できると分かった。

この手法の出力結果と、StyleGAN -NADAとBlendGANで出力した結果を比較した図

　Webブラウザ上で任意の顔画像をジョジョ風などに変換できるデモサイトも公開されている。試してみると、以下のような結果が出力された。

デモサイトの出力結果

Chong, Min Jin, and David Forsyth. "JoJoGAN: One Shot Face Stylization." arXiv preprint arXiv:2112.11641 (2021)

関連記事

関連リンク

Adblock test (Why?)

からの記事と詳細
https://ift.tt/3FU5TYl
科学＆テクノロジー

Bagikan Berita Ini