Stable Diffusion WebUI Forgeの初回設定で入れておくと便利なExtension一覧

AI

Stable Diffusion WebUI Forgeの初回設定で入れておくと便利なExtension一覧 | ムノログ 合同会社ムジンケイカクプロのITノウハウブログ
Stable Diffusion WebUI Forgeの初回設定で入れておくと便利なExtension一覧 |基本的に実例からの解説を致します。

※Taggerはエラーが出て入れられないことがあるので、こちらにある「Iinfinite Image Browsing」で代用できる。

または以下の通りにすればTaggerを入れられる。

 

  1. Tag complete
    1. インストール方法
    2. 使い方
  2. Easy Prompt Selector
    1. インストール方法
    2. 使い方
  3. Iinfinite Image Browsing
    1. インストール方法
    2. 使い方の例
  4. sd_katanukiとは?
    1. sd_katanukiの導入方法
    2. sd_katanukiの使い方
      1. ~Single Image~
      2. ~Directory~
      3. ~Layer~
      4. ~sd_katanukiの使用例~
  5. traintrain を入れる時の注意点
    1. > ..\system\git\bin\git reset –hard 29be1da7cf2b5dccfc70fbdd33eb35c56a31ffb7
  6. sd-webui-traintrain で簡単LoRA作り!
  7. 1.LoRAを作るために必要なもの
  8. 2.学習させる画像についての注意点
  9. 3.LoRAを作る流れ
  10. 4. sd-webui-traintrain のインストール
  11. 5.stable-diffusion-webui-dataset-tag-editorのインストール
  12. 6.画像からタグを抽出して整える(Dataset Tag Editorでの作業)
    1. 6-1.画像を任意のフォルダにまとめる
    2. 6-2.画像からタグを抽出する
    3. 6-3.学習させたいタグを選択して消去する
  13. 7.LoRAの作成(TrainTrainでの作業)
  14. 8.検証
  15. 9.まとめ
  16. 高機能画像編集アプリ「Photopea」の概要
    1. 「Photopea Stable Diffusion WebUI Extension」の概要
    2. 「Photopea Stable Diffusion WebUI Extension」の導入
  17. 超高機能画像編集アプリ「Photopea」を「Stable Diffusion web UI」で利用する
    1. 「Photopea Stable Diffusion WebUI Extension」の利用
    2. 「ControlNet」との連携を図る
  18. 拡張機能「HakuImg」とは?
  19. 拡張機能「HakuImg」の導入方法
  20. 拡張機能「HakuImg」の使い方
    1. Blend
    2. Effect(Color)
    3. Effect(Tone Curve)
    4. Effect(Blur)
    5. Effect(Sketch)
    6. Effect(Pixelize)
    7. Effect(Glow)
    8. chromatic
    9. Lens distortion(Fisheye)
    10. Tilt shift
    11. Other
  21. Stable Diffusionの『ワイルドカード』とは?
  22. 『ワイルドカード』の使い方
    1. ①Stable Diffusion Web UIを立ち上げる
    2. ②拡張機能「dynamic-prompts」を導入する
    3. ③『ワイルドカード』用のファイルを導入する
    4. ④『ワイルドカード』を使う・作る
  23. テキストファイルを使わないで『ワイルドカード』を使用する場合
    1. ①複数を選択する
    2. ②「and」で結合する
    3. ③選択する数をランダムにする
    4. ④重みを付ける
  24. 「Wildcards Manager」を使う方法
  25. まとめ

Tag complete

プロンプトの予測表示。
Google検索にある、Googleサジェスト(オートコンプリート)に似た機能。
面倒なプロンプト入力を簡単にする。
同時に、予測語が出ることで、英単語のちょっとしたスペルミスがなくなります。

インストール方法

GitHub – DominikDoom/a1111-sd-webui-tagcomplete: Booru style tag autocompletion for AUTOMATIC1111’s Stable Diffusion web UI
Booru style tag autocompletion for AUTOMATIC1111’s Stable Diffusion web UI – DominikDoom/a1111-sd-webui-tagcomplete
  1. Extensions
  2. Install from URL
  3. URL for extension’s git repository

上記の窓にURLを入力してインストールボタンを押下。

画面下の「Reload UI」で有効化。

a1111-sd-webui-tagcompleteが、Installedに出る。

使い方

プロンプト入力窓で適当に文字を入れると、予測語が表示される。

 

Easy Prompt Selector

よく使う単語をグループ分けしておいて、マウス選択で入力していける。

この際に、次の単語をマウス選択すると、自動的にカンマ区切りになるところも気が利いている。

チェックボックスで、ネガティブプロンプト側にプロンプトを入れられるのも便利。

yml形式で内容をカスタマイズできる。

インストール方法

GitHub – blue-pen5805/sdweb-easy-prompt-selector
Contribute to blue-pen5805/sdweb-easy-prompt-selector development by creating an account on GitHub.
  1. Extensions
  2. Install from URL
  3. URL for extension’s git repository

上記の窓にURLを入力してインストールボタンを押下。

画面下の「Reload UI」で有効化。

sdweb-easy-prompt-selectorが、Installedに出る。

使い方

タグを選択から利用。

sdweb-easy-prompt-selector

 

Iinfinite Image Browsing

生成した画像の一括閲覧と管理。

便利なところが、画像とともにプロンプトや生成した時の条件を確認できるところ。

生成画像が増えてくると、この画像の設定を忘れたなぁということが増えるはずですが、GUIで管理しやすくなります。

インストール方法

GitHub – zanllp/sd-webui-infinite-image-browsing: A fast and powerful image/video browser for Stable Diffusion webui and ComfyUI, featuring infinite scrolling and advanced search capabilities using image parameters. It also supports standalone operation.
A fast and powerful image/video browser for Stable Diffusion webui and ComfyUI, featuring infinite scrolling and advanced search capabilities using image parame…
  1. Extensions
  2. Install from URL
  3. URL for extension’s git repository

上記の窓にURLを入力してインストールボタンを押下。

画面下の「Reload UI」で有効化。

sd-webui-infinite-image-browsingが、Installedに出る。

使い方の例

  1. Launch from Quick Move
  2. working folder
  3. output
  4. 日付フォルダを選択

 

sd_katanukiとは?

『sd_katanuki』は、冒頭にも紹介しましたが『Stable Diffusion WebUI』の拡張機能になります。

sd_katanukiとは?

導入方法などは書いているので開かなくて大丈夫ですが、内容の更新などがあるかもしれないので、いちおう公式リンクものせておきます!

公式リンク

sd_katanukiの導入方法

それでは『sd_katanuki』の導入方法をご紹介します!

まずは通常の拡張機能と同じ操作で「Extensions/拡張機能」のタブから機能を追加します。

操作がわかる人は以下のURLでインストール、わからない人は『詳しい操作方法はこちら』のタブを開くと操作方法がわかるようにしました。

 

 

URL

https://github.com/aka7774/sd_katanuki.git

~詳しい操作方法はこちら~
sd_katanukiの導入方法

拡張機能のダウンロードが完了すると、タブの中に『katanuki』ができます。

これで『sd_katanuki』の導入完了です!

sd_katanukiの使い方

これで『sd_katanuki』の使い方についてです!

画像生成するimg2imgのタブ内の『Script』からもできますが、設定箇所が増えて操作が大変になるので『katanuki』タブでの操作方法をご紹介します!

sd_katanukiの使い方

『katanuki』タブ内の左上に4つの選べるタブがあります。

タブによって行われる処理が変わりますが『None』は無処理なので使いません。

 

 

各処理の違い

sd_katanukiの使い方
Transparent
sd_katanukiの使い方
White
sd_katanukiの使い方
Mask

『Transparent』の背景は青背景に変えています。

  • Transparent
    • 背景透過機能
  • White
    • 白背景へ変換
  • Mask
    • ControlNetのDepthなどで使えるマスク画像生成
sd_katanukiの使い方

『katanuki』タブ内にチェックをつけれる項目が二つあります。

  • Use FP32(for 16X0)
    • グラフィックボードがRTX16X0の場合にチェックする
  • Alt mode
    • 基本的にはチェックを入れる。白背景にした時など変換に異常があれば外す

これで基本的な設定は完了になるので、どういう風に変換したいかを選んで処理できます。

 

 

~Single Image~

『Single Image』は、1枚の画像を変換したい時に使います。

sd_katanukiの使い方

『katanuki』タブ内の『Single Image』を選びます。

sd_katanukiの使い方

あとは画像をアップロードすると選んだ処理で自動的に変換されます。

sd_katanukiの使い方

変換が終わったら下向き矢印マークを押すと画像の保存が可能です。

 

 

~Directory~

『Directory』は、複数の画像を同時に変換することができる機能になります。

sd_katanukiの使い方

『katanuki』タブ内の『Directory』を選びます。

sd_katanukiの使い方

『Input directory』と『Output directory』の二つの入力欄がでます。

『Input directory』には画像が入っているフォルダのパス、『Output directory』には変換した画像を保存するフォルダのパスを入力します。

sd_katanukiの使い方

フォルダのパスはここをコピペ

 

 

フォルダのパスを入力したら『Run』を押せば処理が開始され、『Output directory』に指定したフォルダに画像が保存されます。

~Layer~

二つの画像を合成できる機能のようですが、使用するとエラーが起きてしまいました。

製作者様のReadmeを読んでも使い方が書いていないので、新しい情報が入ったら記事を追記します!

Layerの使い方等が分かる人がいたら、記事のコメントかDMで教えていただけると嬉しいです!

以上が『sd_katanuki』の使い方です!

~sd_katanukiの使用例~

切り抜き精度が高いので一般的な『Lora』などの学習にも使えますし、用意した背景と人物を合わせたりに使えます。

 

traintrain を入れる時の注意点

通常は以下、「sd-webui-traintrain で簡単LoRA作り!」でそのまま入れられるが、『Stable Diffusion WebUI(Forge版)』では

Commit hash: 9001968898187e5baf83ecc3b9e44c6a6a1651a6

だと稼働しなくなったことが分かる(2024.09.下旬)。

そこで、

29be1da7cf2b5dccfc70fbdd33eb35c56a31ffb7

まで遡れば使えるので、そのように。基本的には(↓)このやり方でできるのだが、そのままではできない。

Stable Diffusion WebUIをダウングレード する
Stable Diffusion WebUIをダウングレードするために必要な情報の入手方法や操作方法を解説します。

そこで、以下のgitファイル「.git-blame-ignore-revs」がある場所(↓:C:\Users\Alpaca\Documents\webui_forge_cu121_torch231\webui)まで降りていき、

同じようにコマンドプロンプトを開いてこちらを入力。

これで使えるようになる。うまくいかない場合はコードが微妙に違っているか、『Stable Diffusion WebUI(Forge版)』を閉じてからやっていないなど何かしらちょっとした違いがあるはず。

基本的にはこちら(↓)を参照のほど。

『StableDiffusionWebUI(Forge版)』のダウングレードの方法についてお尋ねします。コミットハッシュ - 29b... - Yahoo!知恵袋
『StableDiffusionWebUI(Forge版)』のダウングレードの方法についてお尋ねします。コミットハッシュ 29be1da7cf2b5dccfc70fbdd33eb35c56a31ffb7にダウングレードしたいと思っているのですが、

 

sd-webui-traintrain で簡単LoRA作り!

sd-webui-traintrain で簡単LoRA作り!

1.LoRAを作るために必要なもの

必要なものは、以下のとおりです。

  1. Stable Diffusion WebUI(AUTOMATIC1111)
  2. Dataset Tag Editor(拡張機能)
  3. TrainTrain(拡張機能)
  4. 学習させる画像

Stable Diffusion WebUI(AUTOMATIC1111)に2つの拡張機能をインストールする必要があります。拡張機能のインストールは、非常に簡単で時間もかかりません。

各拡張機能のインストールについては、後述の「4. sd-webui-traintrain のインストール」「5.stable-diffusion-webui-dataset-tag-editorのインストール」で解説します。

 

2.学習させる画像についての注意点

LoRA作成で一番重要なものは学習させる画像です。

ここで手を抜くと良いLoRAは作れません。

学習させる画像については、できるだけ綺麗な画像を最低10~20枚程度準備します。
画像の大きさは、512*512 または 1024*1024 を基本にします。
縦長や横長の画像が混在していても学習可能です。

画質が荒いと、その画質の荒さまで学習してしまうことがあるので注意が必要です。

ネットからダウンロードした写真やスマホのゲーム画面のスクショなどは学習画像に向きません。

高画質なものであれば問題ありませんが、大抵の場合、画質が荒いです。元々画質が荒い画像を無理に大きくすると余計に画質が荒れてしまいます。

Stable Diffusionで学習画像を生成する場合には、Hires.Fix(高解像度補助)などを施した方が良いと思います。

以前、実写系のLoRAを作成した際、Hires.Fixを施していない画像を使用したところ、瞳の形やまつ毛、肌の質感などにかなりの悪影響が出ました。

実写系の場合は、無加工の写真データやプリントした写真を高解像度スキャンして使用する方法が良いかもしれません。

今回は、以下の16枚のイラスト画像(大きさは1024*1024)を使用してLoRAを作成します。

 

sd-webui-traintrain :学習させる画像
学習させる画像

 

3.LoRAを作る流れ

LoRA作成の流れは、ザックリ以下の3つです。

  1. 学習させる画像を準備する(前述のように、多分これが一番大変)
  2. 画像からタグを抽出して整える(Dataset Tag Editorを使用)
  3. LoRAの作成(TrainTrainを使用)

 

4. sd-webui-traintrain のインストール

1.Extensionsタブを選択

2.Install from URLタブを選択

3.URL for extension’s git repository欄に以下のURLをペースト

 

4.Installボタンをクリック

sd-webui-traintrain :TrainTrainのインストール①
TrainTrainのインストール①

 

5.Installedタブを選択

6.Apply and restart UIボタンをクリック

sd-webui-traintrain :TrainTrainのインストール②
TrainTrainのインストール②

 

5.stable-diffusion-webui-dataset-tag-editorのインストール

1.Extensionsタブを選択

2.Install from URLタブを選択

3.URL for extension’s git repository欄に以下のURLをペースト

 

4.Installボタンをクリック

sd-webui-traintrain :Dataset Tag Editorのインストール①
Dataset Tag Editorのインストール①

 

5.Installedタブを選択

6.Apply and restart UIボタンをクリック

sd-webui-traintrain :Dataset Tag Editorのインストール②
Dataset Tag Editorのインストール②

 

6.画像からタグを抽出して整える(Dataset Tag Editorでの作業)

Dataset Tag Editorを使って、画像からタグを抽出し、「学習させたいタグを消去」します。

こうして整えたタグをテキストファイルとして書き出します。

タグの抽出、タグの消去、テキストファイル書き出しは、全てDataset Tag Editorで行います。

 

6-1.画像を任意のフォルダにまとめる

準備した画像を任意のフォルダにまとめておきます。この例では、以下のフォルダ内に画像をまとめてあります。

d:\training\original_character01

sd-webui-traintrain :画像フォルダの注意事項
画像フォルダの注意事項

 

LoRAを作成する際、画像を保存したフォルダの一つ上の階層を指定する必要があるので、CドライブやDドライブなどの直下のフォルダではなく、training などの任意のフォルダを作成してから、その中にもう一つフォルダを作成して画像をまとめておきます。
また、フォルダを複数作成しないようにしてください。

 

6-2.画像からタグを抽出する

⓪.画像フォルダのアドレスをコピー

sd-webui-traintrain :画像フォルダのアドレスをコピー
画像フォルダのアドレスをコピー

 

Dataset Tag Editorタブを選択

Dataset directory欄に先ほどコピーした画像フォルダのアドレスを貼り付け

Use Interrogator CaptionをOverwriteに変更

Interrogators欄で wd-v1-4-*** のいずれかを選択

Loadボタンをクリック
Loadボタンを押すと画像と画像から抽出したタグが表示されます。(黄枠内)

sd-webui-traintrain :Dataset Tag Editor①タグの抽出
Dataset Tag Editor:画像からタグを抽出

 

6-3.学習させたいタグを選択して消去する

Batch Edit Captionsタブを選択

Removeタブを選択

③タグ一覧から学習させたいタグを選択

Remove selected tagsボタンをクリック

sd-webui-traintrain :Dataset Tag Editor②学習させるタグを選択
Dataset Tag Editor:学習させるタグを選択して消去

 

下のように選択したタグが一覧から消去されました。
タグの数が多い場合は、見落としがあるので③と④を繰り返して学習させたいタグを全て消去します。

sd-webui-traintrain :Dataset Tag Editor③学習させるタグを消去
Dataset Tag Editor:タグが消去される

 

Save all changesボタンをクリック

このボタンを押すとタグをテキストファイルとして書き出してくれます。

sd-webui-traintrain :Dataset Tag Editor④テキストファイルの書き出し
Dataset Tag Editor:テキストファイルの書き出し

 

画像フォルダ内にテキストファイルが作成されました。
それぞれのテキストファイルには、学習させたいタグが消去されたプロンプトが記述されています。

これでLoRAを作る準備が整いました。

 

sd-webui-traintrain :書き出されたテキストファイル
Dataset Tag Editor:画像フォルダに書き出されたテキストファイル

 

7.LoRAの作成(TrainTrainでの作業)

今回は、ほぼ標準設定のままでLoRAを作成してみます。

⓪画像フォルダの一つ上の階層のアドレスをコピー

この例では、D:¥training となります。

sd-webui-traintrain :①画像フォルダの一つ上の階層アドレスをコピー
TrainTrain①:画像フォルダの一つ上の階層アドレスをコピー

TrainTrainタブを選択

②preset欄でLoRAを選択

アイコンをクリックしてLoRAプリセットを適用

Model欄でModel(Checkpoint)を選択

この例では、LoRA作成に適していると評判の anyloraCheckpoint を使用します。

上記⓪でコピーした画像フォルダの一つ上の階層のアドレスを貼り付け

lora trigger word欄にトリガーワードを入力

LoRAを適用して画像生成する際、プロンプトに記述するトリガーワードを入力します。
ここでは、orichara01 というトリガーワードにしました。
※この例のようにトリガーワードに01、02のような連番を付けることは、お勧めしません。単に、orichara などにした方が良いでしょう。

image size(height, width)欄に学習させる画像のサイズを入力

今回は、1024*1024 の画像を用意したので、1024 にします。

save lora name欄にLoRAのファイル名を入力

この例では、TrainTrain_Test_v1 というファイル名にしました。

save as jsonを選択(任意)

⓪~⑧で設定した内容を json というファイル形式で保存しておきます。
jsonファイルは、以下のフォルダに保存されます。

/stable-diffusion-webui/extensions/sd-webui-traintrain/jsons/日付フォルダ

次回以降は、各設定を保存したjsonファイルで読み込むことができます。

Start Trainingボタンをクリック

Start Trainingボタンをクリックすると学習が始まります。

sd-webui-traintrain :②各パラメータの設定
TrainTrain②:各パラメータの設定

 

今回は、ほぼ標準設定のままLoRAを作成しました。主な項目と使用したグラフィックボード・メモリ容量について記載しておきます。

  • 画像枚数:16枚
  • 画像サイズ:1024*1024
  • train iterations(反復回数):1000(標準値)
  • train batch size:2(標準値)
  • グラフィックボード:NVIDIA Geforce RTX4060Ti(16GB)
  • メモリ:32GB
sd-webui-traintrain :③ターミナル(コマンドプロンプト)画面で結果を確認
TrainTrain③:学習終了時のターミナル(コマンドプロンプト)画面

 

この設定と環境で学習にかかった時間は、29分10秒でした。
エポックは、125となっています。

kohya_ssなどを使用してLoRAを作成する場合は、以下の計算式で学習ステップ数を決める必要がありましたが、今回使用したTrainTrainでは、繰り返し数やエポックを指定する必要はなく、train iterations(反復回数)の値を指定するだけなので非常に簡単です。

画像枚数 × 繰り返し数 × エポック = 学習ステップ数

また、作成されたLoRAを所定のフォルダ /stable-diffusion-webui/models/Lora に自動保存してくれるので、ファイル移動などの手間が省けます。

 

8.検証

学習時間約30分で作成したLoRAは、いかがなものか?
早速、画像を生成してみましょう。

単純なプロンプトに作成したLoRA(TrainTrain_Test_v1)を強度1で適用して、20枚連続で生成して検証してみました。

容姿や服装に関しては、何も指示していません。

 

・プロンプト

orichara01, best quality, masterpiece, 1girl, smile, full body, standing, solo, white background, simple background, <lora:TrainTrain_Test_v1:1.0>,

 

・ネガティブプロンプト

EasyNegativeV2, painting by bad-artist-anime, bad-hands-5

 

sd-webui-traintrain :検証①20枚連続生成の結果
検証①:20枚連続生成の結果(WebUI画面)

 

背景に余計な模様が出ているのと病的に色白な画像となっています。また、from above(上からのアングル)を強く学習している感じがします。

顔、髪型、服装などキャラクターに関しては、まずまずといった感じです。

ほぼ標準設定で作成したLoRAですが、しっかりと学習しています。

プロンプトを調整して生成すれば、もう少しマシな画像が生成できる可能性があります。

 

sd-webui-traintrain :検証②20枚連続生成の結果(拡大)
検証②:20枚連続生成の結果(拡大)

 

次にX/Y/Z plot(Prompt S/R)で強度0~1まで、0.2ずつ強くしながら生成して比較してみます。

強度0(一番左の画像)は、LoRAが適用されていない状態なのでAnyloracheckpointのキャラクターになっています。強度が上がるにつれて学習効果が表れていますが、それと同時に肌の色が抜けているのが分かります。

顔や服装、体型などに関しては満足のいく結果となりましたが、肌の色がダメですね。

確かに、学習画像を見返してみると肌の色が薄い感じは否めません。
学習画像の修正や差し替えが必要であることが判明しました。。。

画像の準備で手を抜くと、こういう結果となります。

 

sd-webui-traintrain :検証③強度による変化
検証③:強度による変化

 

下の画像は、学習画像の肌色を調整してから作成したLoRAの結果です。
LoRA作成時の各パラメータは、前回と全て同じにして作成しました。
肌色が改善されています。

 

sd-webui-traintrain :検証④強度による変化
検証④:肌色を調整して学習させたLoRAの強度による変化

 

9.まとめ

今回は、TrainTrainの細かな設定変更をせず、ほぼ標準設定のままでLoRAを作成しました。

標準設定のままでも、検証結果のように与えられた学習画像を忠実に学習してることがお分かりいただけたと思います。

TrainTrainでのLoRA作成は、外部ツールを使用せずWebUIで全て完結するので、他のツールに比べて分かりやすくて便利だと思います。また、設定項目がかなり精選されているので、他のLoRA作成ツールより扱いやすいと思います。

LoRA作りに興味をお持ちの方は、ぜひチャレンジしてみてください。

最後までお読みいただき、ありがとうございました。

 

高機能画像編集アプリ「Photopea」の概要

「Photopea」を導入することで、「Stable Diffusion web UI」の拡張機能タブを開くだけで高機能のペイントツールが利用できるようになります。

それに加えて「Stable Diffusion web UI」の各機能と連携を図ることで、画像編集と画像生成の無駄をなくして、AI画像生成を実現することが可能になります。

高機能画像編集アプリ「Photopea」の概要

「Photopea Stable Diffusion WebUI Extension」の概要

「Photopea Stable Diffusion WebUI Extension」の概要は以下のページで確認することができます。

 

「Photopea Stable Diffusion WebUI Extension」の導入

「Photopea Stable Diffusion WebUI Extension」は2023年6月10日時点では「拡張機能リスト(Available)」に掲載されていません。

したがって、この拡張機能は「拡張機能(Extensions)」タブ内の「URLからインストール(Install from URL)」から直接インストールしなければなりません。

拡張機能の詳細は以下のページをご覧ください。

拡張機能のインストール【Stable Diffusion web UI】
Stable Diffusion web UI を最近使い始めた方が確認しておくべき拡張機能リストとリストからのインストール方法について簡単にまとめています。

ここからはインストールの手順を紹介していきます。

以下の URL を「拡張機能のリポジトリのURL(URL for extension’s repository)」に入力します。

https://github.com/yankooliveira/sd-webui-photopea-embed.git

Photopea のインストール

拡張機能の URL が入力できたら「インストール(Install)」ボタンをクリックします。

インストール完了

インストールはすぐに完了します。ボタンの下に「Extensionsフォルダにインストールしたのでインストール済タブから再起動してください」というメッセージが表示されます。

適用してUIを再起動

それから「インストール済(Installed)」タブに切り替えて、「適用してUIを再起動(Apply and restart UI)」をクリックします。

これで拡張機能が利用できるようになりました。

新しいタブの出現

インストールが正常に終了している場合は、生成ボタンの上あたりに「Photopea」というタブが出現しています。タブを切り替えることで「Photopea」が埋め込まれた画面が開いて、画像編集を「Stable Diffusion web UI」上で行えます。

Photopea の画面を開く

こちらが「Photopea」の画面です。一般的な画像編集アプリと同じような項目がメニューバーにあります。左側には種々のツールが並んでいます。レイヤー機能も右側に備わっています。

また、キャンバスの下には画像を各所へ転送するためのボタンがあります。このボタンで編集した画像を「img2img」等に送ることができます。このボタンは「ControlNet」への転送にも対応しています。

このような高機能な画像編集アプリが「Stable Diffusion web UI」上で手軽に利用できます。このことはAI画像生成と生成画像の編集において利便性が飛躍的に向上したことを意味しています。

AI画像の編集に限って言えば「Photopea」を導入していれば「Photoshop(フォトショップ)」「Illustrator(イラストレーター)」「GIMP(ギンプ)」などの画像編集アプリがなくても何とでもなりそうです。とはいえ、主要な機能を使いこなすだけでも大変そうです。

ここからは「Photopea」の使用例を取り上げます。実際のところ画像編集アプリは使い方に決まりがあるわけではありませんし使用場面はいくらでも想定できます。

また「ControlNet」と連携させて画像をやり取りすることで手間を減らして画像編集と画像生成を行うことも可能です。「ControlNet」の導入方法と基本的な使用方法は以下のページをご覧ください。

「ControlNet」の導入とその使い方【Stable Diffusion web UI】
ControlNet の導入方法と使い方を初心者向けに紹介しています。ControlNet を導入することでAI画像の構図や人物のポーズを自由に設定できます。
「ControlNet 1.1」の新モデルを使用する【Stable Diffusion web UI】
「ControlNet」は今ではAI画像生成に必要不可欠の技術です。その新バージョンである「ControlNet 1.1」の新モデルを色々と試してみました。
スポンサーリンク

 

 

超高機能画像編集アプリ「Photopea」を「Stable Diffusion web UI」で利用する

「Photopea Stable Diffusion WebUI Extension」の利用

キャンバスに絵を描く

キャンバス上にイラストを取り込んだり、ブラシを使って絵を描いたりすることができます。

各種ツールと画像をやり取りなどの機能を試すために、マウスを使って簡単な人型を描いてみました。ちょっと触った印象として、ペイントツールは本当に優れていると感じました。なお、板タブが見つからなかったため、ペンタブレットが使えるかどうかは試していません(多分大丈夫だとは思いますが)。

(^ω^)
U  U
U U

余談ですが「Stable Diffusion web UI」を始めてから久方ぶりにマウスで絵を描いてみたのですが、マウスがまったく思いどおりに動かず、文字さえまともに書くことができませんでした。パソコンに初めて触った頃はペイントでよく遊んでいたような記憶があります。

さて、画像を編集したら「img2img」等の任意の場所に送ります。

画像を各所に転送する

描いたイラストや編集後の画像は「txt2img ControlNet に転送」「img2imgに転送」「Inpaint selection」「Send to Extras」「img2img2 ControlNet に転送」などのボタンで各所に転送することができます。

「Photopea」から画像を転送する際は、必要に応じて画面下の「Active Layer Only」にチェックを入れてください。

img2img への転送

ここでは「img2img」に転送してみました。ボタンひとつで画像が転送されます。

あとはいつものように設定するだけです。

プロンプトの入力

ここでは「ちびキャラ」の画像を生成してみようと思います。そのために最低限のプロンプトである「chibi」を入力しておきます。

そして、「生成」ボタンをクリックします。

画像の生成

このような画像が生成されました。

ここで生成された画像の下にある「Send to Photopea(フォトピーに転送)」をクリックしてみます。

画像を Photopea に転送

先ほど生成された画像が「Photopea」のキャンバスに表示されています。ここでさらに画像を編集することができます。

「Photopea」の使い方を理解するために、あえて画像を加工してみましょう。

画像の編集

顔だけを抜き出してキャンバスサイズも小さくしてみました。

この画像を再び「img2img」に転送します。

画像を img2img に再転送

先ほどの画像が「img2img」に転送されてきました。

編集で削除した首の部分に違和感があります。また、このキャラクターは表情が怒っているように見えるので笑顔に変えてみましょう。

プロンプトの変更

最初のプロンプトに「smile」を付け足します。そして「生成」ボタンをクリックします。

「standing」は消しても良かったかもしれませんが忘れていました。

画像の生成

すると、このような画像が生成されました。先ほどよりも柔和な表情をしており、「smile」というプロンプトが反映されていることが窺えます。

今度はこの画像を「Photopea」に一旦送ってから、未編集のまま「txt2img ControlNet に転送」してみます。

 

 

この画像を転送したり編集したりする必然性は特にないのですが、「Photopea」の使い方を理解するためにあえてやっています。

ちびキャラの生成【Stable Diffusion web UI】
「ちびキャラ」は適したモデルを使うことで簡単に生成することができます。ここでは実際に色々な「ちびキャラ」たちを作成してみました。かわよ。

「ControlNet」との連携を図る

画像をコントロールネットへ転送

画像を「Photopea」から「txt2img ControlNet に転送」機能を使って「ControlNet v1.1.XXX」に転送しました。

「ControlNet」を「有効化(Enable)」して「低VRAM」と「Pixel Perfect」もついでにチェックしておきます。そして、プリプロセッサに「reference_only」を指定してみます。

なお、「ControlNet」を利用するためには当然のことながら「ControlNet」という拡張機能がインストールされていることが前提となります。

「ControlNet」と「reference only」の使い方は以下のページをご覧ください。

「ControlNet 1.1」の新モデルを使用する【Stable Diffusion web UI】
「ControlNet」は今ではAI画像生成に必要不可欠の技術です。その新バージョンである「ControlNet 1.1」の新モデルを色々と試してみました。
ControlNet 1.1 「reference」による参照元画像と類似した画像の生成
「ControlNet 1.1」のプリプロセッサ 「reference only」「reference adain」「reference adain attn」を利用することで参照元と同じスタイルの画像の生成が可能になります。

プロンプトの入力

プロンプトは先ほどと同じものを入れています。プロンプトは必要に応じて変更してください。

それから「生成」ボタンをクリックします。

画像の生成

そうすると、このような画像が生成されました。

コントロールモードの変更

生成される画像によっては「Control Mode(コントロール・モード)」を「ControlNet」重視に変えて様子を見てもよいかもしれません。またはプロンプトの内容次第ではプロンプト重視にしてもよいと思います。

画像の生成

Control Mode(コントロール・モード)」を変更しても劇的な違いが見られないこともあります。AI画像生成は時間をかけて試行錯誤するしかありません。

次に、プロンプトの効果を確認するために、先に挙げたプロンプトを変更してみました。

プロンプトの変更

今度は「standing」を削除してから「sleeping」と「in the bed」を入れています。

画像の生成

すると、このような画像が生成されました。こういう風に画像編集と画像生成を連続的に行うことができます。

また「reference only」を使用することで同じような画像を連続して生成することも可能です。

画像の生成

これまで見てきたように「Photopea Stable Diffusion WebUI Extension」を導入することで、高機能な画像編集アプリを手軽に利用することができる上に、「Stable Diffusion web UI」の各機能と連携して編集後の画像を用いて即座に画像生成を行うことが可能になります。

これは高価な編集アプリが不要になるだけでなく、画像の面倒なやり取りを避けることができるようということです。AI画像生成の利便性が格段に高まったといえます。この拡張機能はぜひ一度お試しください。

 

 

拡張機能「HakuImg」とは?

Stable Diffusion web ui の拡張機能です。

画像にさまざまな編集を加える事ができます。

拡張機能「HakuImg」とは?
GitHub – KohakuBlueleaf/a1111-sd-webui-haku-img: An Image utils extension for A1111’s sd-webui
An Image utils extension for A1111’s sd-webui. Contribute to KohakuBlueleaf/a1111-sd-webui-haku-img development by creating an account on GitHub.
Stable Diffusionの画像生成を最速で学びたいあなたへ!
  • Stable Diffusionの基礎を2時間でマスター!
  • 高スペックPCがない方向けに徹底解説。
  • ControlNetなど、必須級の拡張機能も網羅。
  • 今話題のSDXL、AI動画生成も。
  • 特典として、大人気「おすすめ拡張機能・モデル解説」「プロンプト大全」つき!
\このボタン限定!70%オフキャンペーン実施中!/
今すぐこの講座を受講する

拡張機能「HakuImg」の導入方法

Google Colabとローカル環境では導入の仕方が異なります。

・Google Colabの方は立ち上げ時に以下のコードを挿入して下さい。

%cd /content/stable-diffusion-webui/extensions/
!git clone  https://github.com/KohakuBlueleaf/a1111-sd-webui-haku-img /content/stable-diffusion-webui/extensions/a1111-sd-webui-haku-img
%cd /content/stable-diffusion-webui

WebUIを起動した時に、HakuImgのタブが追加されていれば導入成功です。

・ローカル環境の方は「Extensions」→「Install from URL」の「URL for extension’s git repository」に下記のURLを入力しInstallをクリックしましょう。

https://github.com/KohakuBlueleaf/a1111-sd-webui-haku-img

インストールできたら、1度リロードして下さい。

プロンプトジェネレーターで画像生成プロンプトの参考に!
  • Stable Diffusionのプロンプトの見本が知りたい
  • 画像生成が思ったようにできない
  • 色々なプロンプトを探したい

など、画像生成AIのプロンプトに関する疑問が解決するかもしれません。

プロンプト生成ページを見てみる

拡張機能「HakuImg」の使い方

機能が多いので、全部を覚える必要はありません。基本となるのは「Effect」で加工する事と、「Effect」で編集した画像を「Blend」で重ねることです。

Blend

各Layerに入れた画像を重ねる事ができます。

どのように重ねるかは「Blend mode」で指定します。「Blend mode」はたくさんの種類がありますが、公式にも説明がないので、使ってみて判断して下さい。基本的にはデフォルトの「normal」で普通に重ねられます。

inpaintと同じように画像にマスクをかけることもできます。

opacity(不透明度)、mask blur(マスクのぼかし具合)、mask strength(マスクの強さ)が設定できます。

この後説明する「Effect」と組み合わせて画像を加工していきます。

加工した画像を inpaint や extras へ送ることもできます。

Effect(Color)

色調の調整ができます。

temperature(温度)、brightness(輝度)、saturation(飽和)、ExposureOffset(オフセット照射)、Noise(ノイズ)、hue(色相)、contrast(コントラスト補正)、gamma(ガンマ補正)、Vignette(周りのボカシ)、Sharpness(シャープさ)、HDR(輝度)の11項目の調整ができます。

基本的な画像の加工はここに大体揃っています。

ここだけ使えれば十分な気もしますが、「HakuImg」は非常に多機能です。

まだまだいろいろな事ができます。

Effect(Tone Curve)

画像の明るさや明暗の比率(コントラスト)を調節するためのものです。
曲線を使って思い通りに調節できるのがトーンカーブです。

3つのポイントを操作して、画像のコントラストを調整します。

元々明るい所をより明るく、暗い所をより暗くすると、コントラストがはっきりとした画像になります。

試しに1枚、コントラストを強調してみました。

いかがでしょうか?

より光っているように見えますね。

こんな本格的な画像加工機能が、無料で使えるのはすごいです。

Effect(Blur)

画像をボカシます。

Blendのレイヤーと組み合わせてボカシた画像と、マスク加工した画像を重ねたりもできます。

こんな画像も作れます(Blend mode : darkenを使用)

Effect(Sketch)

画像から線画を抽出できます。

先ほどのようにできた線画をレイヤーに送って合成すると

アウトラインが強調され、印刷物のような画像を生成できます。

線画はグレーとカラーを選択できます。

Effect(Pixelize)

ピクセル加工をします。

こんな感じでモザイク処理みたいなこともできます。

Effect(Glow)

画像の発光具合の調整です。

なんだか色っぽくなりました・・・

これもレイヤーに送って画像を重ねると、一部だけ輝いているような画像を作れます。

chromatic

画像をずらして色収差を作ります。ブラー機能でぼかしを入れることもできます。

あんまりマジマジと見ると酔いそうです。

Lens distortion(Fisheye)

魚眼レンズで撮影した写真のように、画像を歪ませます。

実写モデルでやれば、「こだわって魚眼レンズで撮った自撮り画像」みたいな画像も生成できそうですね。

Tilt shift

ピントと遠近感の調整ができます。

Y軸への影響の位置決めをして、フォーカス領域の幅(ピクセル単位)を調節します。

下半身にボカシを入れてみました。

逆に顔だけボカシを入れることもできます。

Other

画像の上下左右の端を引き伸ばす事ができます。

画像を加工してポスターにしたり、商品のパッケージになりそうです。

 

Stable Diffusionの『ワイルドカード』とは?

Stable Diffusion web ui の拡張機能「dynamic-prompts」の機能の一つで、テキストファイルの中からランダムにプロンプトを拾って画像を生成できます。

ある程度決まったパーターンの画像をバージョン違いで生成する必要がある時や、服装だけ、髪型だけ、背景だけなどランダムに変えたい時にとても有用です。

詳細はこちらのURLからご確認ください。

GitHub – adieyal/sd-dynamic-prompts: A custom script for AUTOMATIC1111/stable-diffusion-webui to implement a tiny template language for random prompt generation
A custom script for AUTOMATIC1111/stable-diffusion-webui to implement a tiny template language for random prompt generation – GitHub – adieyal/sd-dynamic-prompt…
  • Stable Diffusionの基礎を2時間でマスター!
  • 高スペックPCがない方向けに徹底解説。
  • ControlNetなど、必須級の拡張機能も網羅。
  • 今話題のSDXL、AI動画生成も。
  • 特典として、大人気「おすすめ拡張機能・モデル解説」「プロンプト大全」つき!
\このボタン限定!70%オフキャンペーン実施中!/
今すぐこの講座を受講する

『ワイルドカード』の使い方

『ワイルドカード』の使い方

それでは、具体的に『ワイルドカード』の使い方をみていきましょう!

①Stable Diffusion Web UIを立ち上げる

Stable Diffusion Web UI を立ち上げてください。

もしも、まだ使用環境が整っていない方がいたら、この記事を参考にして環境を構築してください。

Google Colab版Stable Diffusionの立ち上げ方法から使い方までを徹底解説!
Stable Diffusionをパソコンのスペックを気にしないで気軽に利用できる『Google Colaboraratory』の使い方をどこよりも分かりやすく徹底的に解説します!Stable Diffusionの立ち上げ方やモデル・拡張機能のインストール方法など網羅的にご紹介しますので是非参考にしてください!

②拡張機能「dynamic-prompts」を導入する

拡張機能「dynamic-prompts」の導入は以下の手順となります。

  1. Stable Diffusion の Extensions のタグを選択
  2. Install from URL を選択
  3. URL for extension’s git repositoryに以下のURLを貼り付け https://github.com/adieyal/sd-dynamic-prompts.git
  4. Installをクリック

「dynamic-prompts」のダウンロードはこれで終了です。

1度リロードをしてください。

③『ワイルドカード』用のファイルを導入する

『ワイルドカード』を使用するには事前にテキストファイルの準備が必要です。dynamic-promptsから呼び出せるワイルドカードもありますが、あまり実用性はありません。実用的なものはCIVITAIに作成済みのテキストファイルがいくつか無料配布されていますので、それを使う方法もあります。以下はCIVITAIからダウウンロード可能なワイルドカードの一部です。

代表的なワイルドカード

ダウンローとしたテキストファイルは「stable-diffusion-webui」>「extensions」>「sd-dynamic-prompts」>「wildcards」フォルダの中に入れてください。

④『ワイルドカード』を使う・作る

試しにdynamic-promptsのデフォルトで呼び出せるワイルドカードを使ってみましょう。

上部タグからWildcards Manager を選択します。

Collection Actions を開き、今回はartistsを選択し Copy Collection を押します。

これでartistsのファイルが呼び出しできました。

このartistsを開いていくとartists/Japanese Art/ukiyoeのワイルドカードがあるのでこれを使って画像を生成していきます。

ワイルドカードを使うためには、専用の構文を使う必要があります。

__ワイルドカード名__

左右のアンダーバーはそれぞれ2本連続で記述してください。

ではtxt2imgで画像を生成します。プロンプトは

__artists/Japanese Art/ukiyoe__

Batch sizeは6にしました。

次にdynamic-promptsのパラメーターを設定します。

Dynamic Prompts enabled – 有効・無効のスイッチです。有効にします。

以上の条件で画像を生成すると、

それぞれの画像はワイルドカードartists/Japanese Art/ukiyoe内にあったものから選択されます。生成された画像のプロンプトはそれぞれ

Miyagawa Chōki, Tsukioka Yoshitoshi, Katsushika Ōi, Toyohara Kunichika, Torii Kiyohiro, Tsukioka Yoshitoshi

となります。(モデルが学習できいないものは表現できないようです。)

また、ワイルドカードは自分で作成した物を使うことができます。その場合は通常のテキストファイルで作成しても良いですし、Wildcards Manager のタグから既存のワイルドカードを編集して使うこともできます。

プロンプトジェネレーターで画像生成プロンプトの参考に!
  • Stable Diffusionのプロンプトの見本が知りたい
  • 画像生成が思ったようにできない
  • 色々なプロンプトを探したい

など、画像生成AIのプロンプトに関する疑問が解決するかもしれません。

プロンプト生成ページを見てみる

テキストファイルを使わないで『ワイルドカード』を使用する場合

dynamic-prompts はワイルドカードを使わないで、プロンプトの中からランダムで選択できるdynamic-prompts 専用の構文があります。

最も基本的な構文(呪文A~Cの中からランダムに1つだけ選ぶ)は次のとおりです。

{ 呪文A | 呪文B | 呪文C }

呪文を半角の|で区切り、それを半角の{}で囲むだけです。

Dynamic Prompts enabled を有効化し、プロンプトに

{ cat | dog | bird }

このように書くと

cat , dog , bird から一つが選択された画像が生成されます。

①複数を選択する

呪文の中からランダムに複数を選択することもできます。その場合の構文は次のとおり。

{ 選択する数 $$ 呪文A | 呪文B | 呪文C }

具体例は次のような感じです。

a girl { 2$$ glasses | earrings | hair ribbon}

この場合は、メガネ、イヤリング、リボンの中から2つ選択された画像が生成されます。

 

②「and」で結合する

My favourite ice-cream flavours are {2$$ and $$chocolate|vanilla|strawberry}

このように書くと、2$$ と $$ の部分にそれぞれ1語が選択され

  • My favourite ice-cream flavours are chocolate and vanilla
  • My favourite ice-cream flavours are chocolate and strawberry
  • My favourite ice-cream flavours are vanilla and chocolate

のようにandで結合されたプロンプトで画像を生成することができます。

③選択する数をランダムにする

以下の構文で選択数をランダムにすることができます。

My favourite ice-cream flavours are {1-2$$ and $$chocolate|vanilla|strawberry}

このようにプロンプトを描いた場合

  • My favourite ice-cream flavours are chocolate
  • My favourite ice-cream flavours are strawberry
  • My favourite ice-cream flavours are vanilla
  • My favourite ice-cream flavours are chocolate and vanilla
  • My favourite ice-cream flavours are chocolate and strawberry
  • My favourite ice-cream flavours are vanilla and chocolate

このように1語もしくは2語を選択したプロンプトで画像が生成されます。

④重みを付ける

選択されるプロンプトの割合を変更することもできます。

{0.5::summer|0.1::autumn|0.3::winter|0.1::spring}

このように書くと、夏:5 秋:1 冬:3 春:1 の割合で選択されます。

 

dynamic-prompts については独自の構文がまだまだ沢山あります。詳しく知りたい方は下記のURLで学習してください。

https://github.com/adieyal/sd-dynamic-prompts/blob/main/docs/SYNTAX.md

「Wildcards Manager」を使う方法

Wildcards Managerを使うと、ワイルドカードの中から必要なものを探したり、ワイルドカードを編集することができます。

上部ダグからWildcards Managerを選択し、ヘアスタイルを変更できるワイルドカードを探してみましょう。

Search in wildcard namesに “hair” と入力します。

そうすると、髪型に関するワイルドカードの一覧が選ばれます。その中から一つを選びましょう。右側にワイルドカード内のプロンプトが表示されるので、確認しながら今回はdevilkkw/body-1/hair_styles_shorを選びました。

さらに中身も編集してしまいましょう。

File editorをそのまま書き換えて、下にあるSave wildcardsを押します。

これで画像を生成すると・・・

中からランダムに髪型を選んで画像を生成してくれます。

服装のワイルドカードや表情のワイルドカードを作ってしまえば、かなり便利に使えそうですよね。

まとめ

いかがでしたでしょうか?

Stable Diffusionの拡張機能『Dynamic prompts』でワイルドカードを使う方法!について解説してきました。

今回のポイントをまとめると、以下のようになります。

  • Dynamic promptsはプロンプトをランダムにできるツールです。
  • ワイルドカードを使うと、髪型だけ、服装だけ、表情だけを変えることも可能です。

Dynamic promptsはかなり多機能な拡張機能です。

うまく使いこなせば、きっとあなたの制作を助けてくれると思います。

ぜひ活用してみてください。

コメント

タイトルとURLをコピーしました