「イラストを読み込んでプロンプトを生成する機能」で遊んでみた件。

　過去に自分で描いたイラストをwebuiに読み込んで、生成されたプロンプトを使って画像を生成しました。今回はＳＤＸＬを使用しているので、従来のstable diffusionよりも精度の高いイラストが生成できるかも？

　まずは一枚目。あーんをしている女の子です。スプーンをこちら側に差し出すような表現は、プロンプトでどうやって指示するのか気になります。

　イラストを解析して生成されたプロンプト。

1girl, bangs, bare shoulders, blueberry, blush, breasts, brown eyes, brown hair, bush, cake, cake slice, cherry, christmas tree, collarbone, cream, day, dessert, drinking straw, feeding, food, forest, fork, frills, fruit, hair ribbon, holding fork, holding spoon, ice cream, incoming food, looking at viewer, nature, open mouth, outdoors, palm tree, parfait, park, plate, ponytail, pov across table, red flower, red ribbon, ribbon, sitting, smile, solo, spoon, strawberry, strawberry shortcake, sundae, table, tree, whipped cream

　自分では絶対に入力しないような、長いプロンプトが生成されました。ネガティブプロンプトは生成されないので、以下を使用します。

EasyNegative,mutated hands and fingers, text, title, deformed, bad anatomy, disfigured, poorly drawn face, mutation, mutated, extra limb, ugly, poorly drawn hands, missing limb, floating limbs, disconnected limbs, malformed hands, out of focus, long neck, long body

　生成されたイラスト。

　おおっ！　さすがＡＩ先生。可愛い表情の女の子を生成するのはお手の物ですね。手の一部がフォークになっていたり、スプーンと混ざったりしてはいますが、人力で修正するのは簡単そうです。

　背景が左と右でおかしなことになっているのは、ＡＩ生成画ではありがちですよね。

　何枚かこのプロンプトで生成しましたが、肝心のあーんは再現できないようでした。生成されたプロンプトに、あーん成分が入っていないのかもしれませんね。

　次は二人の女の子。stable diffusionで複数人数を出力しようとすると、工夫しないと要素が混ざってしまい、うまく生成できませんが、どんな感じになるのか楽しみです。

　イラストを解析して生成されたプロンプト。

2girls, :d, bangs, bare arms, bare shoulders, black hair, blue bow, blue ribbon, blue skirt, blurry, blurry background, blurry foreground, blush, breasts, brown eyes, cleavage, collarbone, depth of field, eyebrows visible through hair, hair ribbon, long hair, looking at viewer, medium breasts, multiple girls, open mouth, outdoors, photo background, ponytail, purple eyes, ribbon, skirt, sleeveless, smile, standing

　生成されたイラスト。

　何枚か生成してみましたが、三人以上になってしまうイラストが大半でした。これは一枚だけ二人で出力されたものです。服もほぼすべてが青いワンピースになっていました。

　生成されたプロンプトをザっと見た所、服の色に関しては、青しか指示がない気がしますが、そのせいなんでしょうね……。

　次はツインテな女の子。私が投稿しているお話に登場する魔王様のイラスト。（エタっているのでまだ登場していないのです）

　イラストを解析して生成されたプロンプト。背景が白いからか、上二つよりもプロンプトは短め。

1girl, black cape, black hair, breasts, cape, cleavage, cloak, closed mouth, hair ribbon, hand on hip, long hair, looking at viewer, medium breasts, red cape, red eyes, ribbon, simple background, solo, twintails, white background

　生成されたイラスト。

　ほぉー、なる程、マントの裏地はそうやって塗るといいのか……。参考になります。あと、ハイライトや影がくっきりしていて立体感がある。なるほどなぁー、簡単にはまねできないだろうけど、ライティングはこの方向で上達したい。

　色を元のイラストと比べると、服は黒くなって、リボンは赤くなっていますね……。生成されたプロンプトを見た感じでは、イラストを解析する方の問題だと思われます。

＊＊＊

　そんなわけで、自分の描いた絵をＡＩに読み込ませてプロンプトを生成し、それを使ってイラストを生成してみました。

　イラストからプロンプトを生成する機能は、思っていたよりずっと精度が高くて驚きました。ただ、色に関しては割と適当なようにも感じます。そこは自分で加筆すればいいのかもしれませんね。

　今回イラスト生成に使ったＳＤＸＬは、従来のstable diffusionよりも性能は高いようで、破綻した絵が生成される確率が少ない気がします。また指もかなり精度よく描かれているように感じました。

　これからもＡＩ生成画は進歩はしていくと思うので、もっと精度よく、もっと速くを期待してしまいます。

　人力で修正することなく、自分のイメージ通りのイラストが生成できるようになるのも、そう遠くないかもしれません。

　自分で絵を描くのは、また別の楽しさがあるので、どんなにＡＩが進歩してもやめないとは思います。でも手軽に挿絵用のイラストが生成出来れば、それはそれで便利なのです。

　お読みいただきありがとうございました。