モデルを実際に操るプロンプトの解剖学
拡散モデルは、人が文章を読むようにはプロンプトを読みません。トークンと学習された連想に反応します。だからこそ、雄弁なプロンプトより構造化されたプロンプトのほうが成果を出します。一貫して機能する構造は、情報を重要度順に並べます。まず主題、次に画材、スタイル、照明、構図、最後に技術的な詳細。
主題は名詞句に動作と舞台を加えたものです。「散らかった作業台で懐中時計を修理する年老いた時計職人」は、モデルに物体だけでなく関係を与えます。具体性が他のどこよりもここで重要です。「美しい女性」は学習データの平均顔を生み、「風になびく赤毛でそばかすのある40代の女性」は1人の人間を生みます。
画材はレンダリングのパイプライン全体を決めます。写真、油絵、水彩、3Dレンダー、木炭スケッチ。後続のすべてを制約するので、早い位置に置くべきです。水彩画に「フィルムグレイン」は意味を成しません。
スタイルは画材の中をさらに絞ります。フィルムノワール、スタジオジブリ、1970年代のナショナルジオグラフィック、アールヌーヴォー。その後に照明と構図(次のセクション)、それからアスペクト比などのパラメータ。
順序が重要なのには機械的な理由があります。ほとんどのモデルは前方のトークンに大きな重みを与え、長いプロンプトは末尾が切り捨てられるか薄まります。譲れないものは最初の10語以内に入れ、40語目以降はモデルが無視してもよい提案として扱ってください。
Midjourney・Stable Diffusion・DALL-E:同じ言葉、違う機械
プロンプトは移植できません。3大エコシステムは重み付け・ネガティブ・パラメータを異なる方法で解釈し、あるエンジンの構文を別のエンジンに貼り付けても、静かに何も起きないか — もっと悪いことに — 画面内の文字になってしまいます。
Midjourneyはダブルコロンの重み付け(ocean::2 sky::0.5)、コマンドライン風のパラメータ(アスペクト比の--ar 16:9、多様性の--chaos、スタイル参照画像の--sref)、除外用の--noパラメータ(--no text, watermark)を使います。デフォルトから様式化されていて主張が強く、平凡なプロンプトでもとりあえず「綺麗」に仕上がります。
Stable Diffusionのエコシステム(AUTOMATIC1111、ComfyUI)は括弧の重み付けを使います。(golden hour:1.3)は概念を強め、1未満の値は抑えます。そして本当に独立したネガティブプロンプト欄があり、これが品質の主レバーです。deformed hands、extra fingers、watermark、low qualityはメインではなくそこに住みます。素のSDはMidjourneyよりはるかに字義通りで、ロードするチェックポイントモデル次第で結果が大きく揺れます。
DALL-E系の自然言語システムはアプローチ全体を反転させます。重みもネガティブ欄もありません。散文に従うよう訓練されているので、明確な描写の段落を書き、除外は文として述べます(「画像内のどこにも文字を入れない」)。トークンの寄せ集めプロンプトは、ここではむしろ成績が落ちます。
このツールはカンマ区切りのキーワードプロンプト — MidjourneyとSDが共有する方言 — を出力します。DALL-E式のシステムには、まずLLMにキーワードリストを流れる散文に書き直してもらいましょう。
Same intent, three dialects:
Midjourney:
lighthouse on a cliff, storm waves::2, oil painting,
dramatic lighting --ar 16:9 --no boats, text
Stable Diffusion:
oil painting of a lighthouse on a cliff,
(storm waves:1.3), dramatic lighting
Negative prompt: boats, text, watermark, blurry
DALL-E style:
An oil painting of a lighthouse on a cliff battered
by storm waves. Dramatic lighting, wide 16:9
composition. No boats and no text in the image.画を動かす語彙:光・フレーミング・レンズ
出回っているプロンプトの品質ワードの大半はノイズです。masterpiece、best quality、highly detailed、8kはカーゴカルト的トークンで、あるモデルでは無害、別のモデルでは無意味です。画像を確実に変える語彙は写真と撮影技術から来ます。学習用キャプションがそこから来ているからです。
照明が最もレバレッジの高いカテゴリーです。golden hourは暖かい低角度の光と長い影を、blue hourは冷たい夕暮れの輝きを生みます。Rembrandt lightingはポートレートで頬に光の三角形を作り、rim lightingは暗い背景から被写体を切り離し、北向きの窓からの柔らかい拡散光は古典的な肖像のレシピで、真昼の強い日差しはドキュメンタリー的な平板さを作ります。各フレーズが、学習済みの場面をまるごと運んでくるのです。
構図の言葉は、あなたが握ったことのないカメラを設定します。extreme close-up、low-angle shot(威圧感)、bird's-eye view、rule of thirds、negative space(ミニマルな孤立)、dutch angle(不安感)。レンズとフィルムのトークンが仕上げます。85mm f/1.4はとろけるような背景ボケを、24mm wide angleは環境の文脈とわずかな歪みを、macroは微小スケールの極端なディテールを、shot on Portra 400は特定の暖かいフィルムパレットを、long exposureは水を滑らかにし光を筋にします。
カテゴリーごとに1語だけ選びましょう。golden hour、neon lighting、overcastを積み重ねても3つのムードは混ざりません。モデルが平均化して泥にするだけです。
Flat prompt:
portrait of an old fisherman, masterpiece, 8k,
highly detailed, best quality, amazing
Photographic prompt:
portrait of an old fisherman mending a net,
weathered hands in focus, Rembrandt lighting,
overcast harbor at dawn, 85mm f/1.4, shallow
depth of field, Kodak Portra 400, rule of thirdsスロットマシンではなく写真家のように反復する
プロンプト反復のデフォルトの失敗モードは、スロットマシンのループです。生成し、気に入らず、プロンプト全体を書き直し、繰り返す。毎回の実行がランダムシードを振り直すため、何も学べません。画像が変わったのが自分の編集のせいか、サイコロのせいか、区別できないからです。
写真家のループは、固定したシードに対して一度に1つの変数だけを変えます。Stable Diffusionではシードを明示的に設定し、Midjourneyでは--seedを使います。シードを固定したまま、1つ編集するたびに再生成します。golden hourをovercastに替える、重みを1つ加える、形容詞を1つ削る。これで出力の違いはあなたの変更に帰属でき、セッションが終わる頃には、自分のエンジンで各トークンが何をするかの私家版フレーズ集が手に入ります。
実践的なセッションの形:まず緩い探索バッチ(4〜8枚、シードなし)を回して追いかける価値のある構図を見つけ、そのシードを固定し、属性ごとのパスを行います。照明が先、次にスタイル、最後にネガティブプロンプトや--noで掃除。残す画像には必ずプロンプト全文とシードを保存してください。レシピを失った傑作は、能力ではなく一回きりの偶然です。
そして、プロンプト欄を離れるべきときを知りましょう。おかしな手や物体を1つ直すのはインペインティング(またはVary Region)の仕事であって、すでに気に入っている構図を振り直す理由ではありません。
失敗パターンと正直な限界
失敗にはプロンプトの問題とモデルの問題があり、どちらなのかを見分けられると何時間も節約できます。
矛盾するトークンは泥を生みます。minimalistにintricate detailsを足したり、競合する2つの画風を入れたりすると、どちらでもない平均が出てきます。概念の滲みはより巧妙です。属性が被写体の間をさまよい、「赤毛の女性と青いコートの男性」はしばしば髪とコートを取り違えます。重み付けは助けになり、被写体を別の領域に分ける(あるいは別々に生成して合成する)ほうがもっと効きます。
他の限界は構造的で、どんな言い回しでも確実には直りません。画像内の読めるテキスト(改善中ですがまだ不安定 — 文字は編集ソフトで載せる計画を)、手と絡み合う指、3〜4個を超える正確な個数、自転車や時計のような機構の物理的整合性。これらは50回の再生成に費やすのではなく、レタッチの予算を組みましょう。
真剣に受け取るべき検証ノートを2つ。ビルダーから借りたスタイルトークンは予想外の荷物を運んでくることがあります。調べていないタグが意図しない美学を引き込むかもしれないので、見慣れないトークンは固定シードで試してから頼ってください。そして商用利用なら、使う生成サービスのライセンス条件を確認し、プロンプトに存命アーティストの名前を入れる場合は、公開前に倫理と、ますます活発になる法的状況の両方を天秤にかけてください。