ブラウザ上で任意の顔画像をジョジョ風などに変換できるサイト「JoJoGAN」が面白い

ブラウザ上で任意の顔画像をジョジョ風などに変換できるサイト「JoJoGAN」が面白い

 


 米イリノイ大学アーバナ・シャンペーン校の研究チームが開発した「JoJoGAN: One Shot Face Stylization」は、入力した1枚の顔画像を漫画「ジョジョの奇妙な冒険」のキャラクター風に変換する機械学習フレームワークだ。「空条承太郎」など、作中のキャラクタースタイルに似せた顔に変換する。このフレームワークは、大量のペア画像データセットを使わず、1枚の顔画像から学習できる特性を持つ。

画像をスタイル変換するモデルは、大量のペア画像データセットを必要とするが、そのデータを準備するにはコストがかかる。数枚の画像からスタイル変換する研究も報告されているが、詳細なスタイルや多様性を捉えきれず、画質も不十分だ。

この手法では、1枚の参照画像から近似するペア画像データを先に生成し、それを学習に使用する方法でこの問題に取り組む。具体的には、1枚の参照スタイル画像をGANで反転して実写に対する潜在変数を取得し、Random Style Mixingを行うことで近似のペア画像データセットを作成する。

得られた近似のペア画像データセットには、さまざまな色特性を持つサブセットも含まれる。ペア画像データセットを生成した後は、事前に学習させたStyleGANを微調整する

変換した顔画像を評価するために、先行研究の類似手法(StyleGAN -NADA、BlendGAN)で出力した画像と比べた結果、他の類似手法よりもこの手法の方が、入力画像の顔のアイデンティティーを保持したまま、目の形や線の太さなどの詳細な特徴を捉えた画像を生成できると分かった。

Webブラウザ上で任意の顔画像をジョジョ風などに変換できるデモサイトも公開されている。試してみると、以下のような結果が出力された。

https://www.itmedia.co.jp/news/articles/2201/06/news037.html




引用元: ・ジョジョのキャラクター風に顔写真を変換する「JoJoGAN」 1枚の画像からAIが学習 [156193805]

2
何でもかんでもAIAI言う今の社会に違和感
ただのマスデータとアルゴリズム処理だろ

5
アメリカ風味が入ってる

6
でもこれ表情を似せてるだけで写真の顔立ちには似てないよな

8
仕上がり微妙だな。有料なら金返せとか言われるレベル

9
違う

12
アメコミ入ってるぞ

13
進撃風だが

24
>>13
思ったw

14
ギョギョッ!

15
あいつら漫画版の存在知らんの?

16
カイジ風も頼む

17
そうじゃない

18
なんか目がギラギラしとるな

19
面白い

20
思ったよりつまらなかった
もうちょっと、こう…

21
あの人今でも手書きやからAIで設定されるのはコレジャナイ感が

22
顔のパーツを認識して、絵をベースに角度やサイズを調整してるだけだなこれ
こんなの俺でもプログラミングできない

25
目がワンパターンじゃあないか

27
なんか違う

30
全然ジョジョじゃない件

34
ジョジョではないな

35
一枚目の右は美味しんぼの山岡栗田

36
漫☆画太郎風になるやつが欲しい

37
モデルになってるのが美男美女で顔立ち整ってるやつばっかりやん
もっと癖のあるやつをサンプルにしろよ

38
オインゴボインゴ風味が足りない

39
言うほど似てない

40
ディズニーがギャグ枠だと初めて知った

0 Comments
Inline Feedbacks
View all comments

あなたにオススメの記事