平成のコロコロ表紙361冊を学習させてLightweight GANで512pxの画像を生成したログ・比較

2021年9月26日2024年9月9日

主旨

毎月表紙の雰囲気における類似性の高いコロコロコミックの表紙絵を512pxにして学習させ、Lightweight GANで画像生成したログである。

目的

今回の目的を、以下に記す。

• 128pxの場合と出力を比較・考察
• 予想とのずれを見ることにより、今後のGAN利用の事前に行う可否判断に生かす

期間

2021年9月14日～2021年9月17日

開発に用いたもの

Google Colaboratory Pro

開発環境

• Ubuntu 18.04
• Intel(R) Xeon(R) CPU @ 2.00GHz
• Tesla T4
• Python
• lightweight-gan

Pythonバージョン

• Python 3.7
• torch 1.9.0+cu102
• torchvision 0.10.0+cu102
• lightweight-gan 0.20.4

予想

題名

毎月「コロコロ」の位置が表紙の定位置にあるため、「コロコロ」という文字がはっきりわかるように画像が生成される。

「コロコロ」という文字の色は、混ざり合ったものになる。

表紙絵

長年掲載されていた作品の影響が大きくでる。

特にドラえもんとでんじゃらすじーさんは表紙において占める割合が大きく、少なくとも青色と肌色は多い。

大きなイラストが一つは、出力画像のどこかにある状態になる。

準備

コロコロオンラインの画像使用は、著作権法以上の規制がないことをコロコロオンラインの「画像使用・著作権」リンクである小学館の画像使用著作権ページで確認。

著作権法第三十条の四第二号より、著作物をAIの学習データに使用して著作者の利益を害さなければ問題ないと確認。

【年末年始特別企画!!】平成のコロコロ表紙361冊全部見せますSP！ の画像を使用し、高さ512pxの大きさに変更。

幅を512pxにするために、左右の余白を均等に黒色で埋めたものを学習データとした。

操作

前回と同様の操作をGoogle Colaboratory Proで512px指定、マルチGPUで行った。

ログ

以下のURLに、今回のログがある。

ファイル名の末尾が、実行順である。

中断と再開を何度か行ったため3つのファイルが存在するが、すべて同じ操作である。

節目となっているステップ時の画像を掲載する。

開始時

!lightweight_gan --data ./korokoro --image-size 512 --amp --multi-gpus

0ステップ目

早くも、コロコロらしさのある画像が出力される。

40,000ステップ後

「コロコロ」の文字が見えてきた。

48,000ステップ後

ドラえもんが、見え隠れしている。

82,000ステップ後

抽象的な人間の顔が出現。

以降

これ以上の進展がなかったため、102,000ステップで終了。

考察

学習データの類似性について

今回は前回と違い、「コロコロ」の文字以外も生成された。

人間の顔が、曲がりなりにも生成されるようになった。

しかし、この二点のみが明確に生成されたにすぎない。

この理由は、学習データ同士の類似性が、「コロコロ」という文字が存在することと、大きな顔が一つあること以外に高くないことが考えられる。

128pxで学習を行ったときとの結果の相違について

前回の128pxで学習を行ったときと比較すると、大きな顔らしきものが生成した画像の中に出るようになった。

今回は、前回より8倍大きい画像を生成している。

したがって、大きな顔らしきものの有無が8倍大きく生成されるようになり、判別機による判定で重要になったと考えられる。

まとめ

• 128pxのときより512pxのときのほうが、コロコロコミックの特徴がでた
• データ同士の類似性が高い学習データでしか、画像生成できないことが分かった

次回予告

• 何か別のデータを使うはず

他の回

「Lightweight GAN 連載記事」でタグ付けを行っている。

広告

コロコロコミックのことがわかりそうな本。