プロンプトチェイニング技術：複雑なAIワークフローの構築
複数のプロンプトを連鎖させて複雑なタスクを実行する方法を学びましょう。
単一プロンプトが複雑なタスクで破綻する理由
言語モデルはテキストを前から後ろへ生成し、同じ生成の中で既に書いた内容を修正できません。調査、分析、構成、推敲を一つのプロンプトで要求すると、モデルは次のトークンを一つずつ生み出しながら、それらすべての目標を同時に満たさなければなりません。必ず何かが犠牲になります。
長い出力はこれを悪化させます。私たちのテストでも、広く報告されている経験でも、一度に生成される長い出力の品質は終盤に向かって垂れ下がる傾向があります。セクションは薄くなり、例は繰り返され始め、プロンプト冒頭で述べた制約は効力を失っていきます。「三つのプロジェクト管理ツールについて、価格、機能、サポート品質、最終的な推奨まで含む完全な競合分析を書いて」のような依頼は、たいていレポートのような見た目で、レポートの要約のような読み心地のものを返してきます。
チェイニングは、モデルに一度に一つの狭い目標だけを与えることでこれを解決します。各ステップは全力の注意を受け、小さな出力を生み、次のステップへきれいに引き渡します。
四つの中核チェインパターン
順次型。 各ステップが次のステップに供給します。古典的な執筆チェインは、事実の収集、アウトライン作成、セクションごとの下書き、そして編集です。タスクに自然な段階があるときに使います。各段階のプロンプトには、入力が何か、次のステップが出力に何を求めるかを明記すべきです。
分岐型。 一つのステップが複数の選択肢を生成し、各分岐を独立に発展させます。最初のプロンプトの例:「この製品について、互いに明確に異なるポジショニングの切り口を三つ、それぞれ一文で提案してください。」次に切り口ごとに一つずつ:「切り口2をランディングページのアウトラインに発展させてください。」確定する前に分岐してください。すべての選択肢を一つのプロンプト内で発展させると、三つの本物の代替案ではなく、三つの浅いバリエーションになりがちです。
評価型。 生成、批評、修正を三つの別々のプロンプトとして行います。批評は、下書きを書いた記憶のない新しい会話で最もうまく機能します:「以下のセールスメールをレビューしています。懐疑的なIT管理者を説得するうえで最も弱い点を三つ、それぞれ該当フレーズを引用しながら挙げてください。」その後、下書きと批評を修正プロンプトに入れます。生成と批評の分離は重要です。同じ会話の中で自分の言葉を評価するよう求められたモデルは、それを擁護する傾向があるからです。
集約型。 複数のプロンプトが異なる側面を並行して分析し、最後のプロンプトが統合します。例:価格分析、機能比較、レビューの感情分析にそれぞれ一つずつプロンプトを使い、その後:「以下の三つの分析のみを使って推奨を書いてください。分析同士が矛盾する箇所があれば、その矛盾を明示的に指摘してください。」
完全な実践チェイン
課題:二十件の顧客インタビューの生の書き起こしをインサイトレポートにする。
ステップ1、抽出。 「以下の書き起こしから、顧客が述べているすべての個別のペインポイントを列挙してください。各項目について、直接の引用と一行の言い換えを示してください。まだ解釈やグループ化はしないでください。」書き起こしごとに一回実行します。
ステップ2、クラスタリング。 「以下は二十件のインタビューから抽出したペインポイントです。これらをテーマにまとめてください。各テーマに名前を付け、裏付けとなる引用を列挙し、何件の異なるインタビューがそれを裏付けているか数えてください。」
ステップ3、検証。 「各テーマを引用と照合してください。三件未満のインタビューしか裏付けのないテーマと、分類先のテーマを実際には裏付けていない引用にフラグを立ててください。」
ステップ4、下書き。 残ったテーマごとに一つのプロンプト:「提供された引用のみを使って、このテーマについて150語のセクションを書いてください。」
ステップ5、批評。 新しい会話で:「このレポートをレビューし、引用された根拠を超えている主張をすべて列挙してください。」
ステップ6、修正。 批評を入力に戻し、フラグの付いたセクションを書き直します。
注目すべき構造:抽出と解釈が分離されており、その間に検証ステップが挟まっています。ほとんどのチェインが品質を守るか失うかは、まさにその継ぎ目で決まります。
誤りの蓄積
チェインは品質を増幅するのと同じくらい容易に、ミスも増幅します。ステップ1がペインポイントを誤分類すれば、以降のすべてのステップがその誤りの上に全幅の確信をもって積み上げます。各プロンプトは前の出力を確定した事実として扱うからです。序盤で紛れ込んだハルシネーションは、ステップ4の頃にはもはや推測には見えません。引用され、再引用された既成事実に見えます。抜け漏れも同じように複利で膨らみます。ステップ1が抽出し損ねたものは、チェインの残り全体から見えないままです。
実践的なルールはこうです。チェイン序盤の誤りは、同じ誤りが終盤で起きた場合よりはるかに高くつくため、検証の労力は開始地点の近くに投じてください。
ステップ間の検証
- 安価なチェックポイントプロンプトを差し込む:「上のテキストのうち、元資料に裏付けられていない主張をすべて列挙してください。」 - 構造化された引き渡しを強制する。あるステップがラベル付きフィールドや固定形式の箇条書きで出力すれば、次のステップの読み違いは大幅に減り、項目数を数えるなど機械的な整合性チェックも可能になります。 - 元資料を流し続ける。コンテキストの予算が許す限り、中間要約と一緒に元の資料も渡し、後のステップが言い換えの言い換えを信じる代わりに、主張を元資料に照らし直せるようにします。 - 最もリスクの高い継ぎ目では手作業で抜き取り検査をする。通常は抽出の直後と最終統合の直前です。
チェイニングすべきでないとき
- タスクが一つのプロンプトに収まるとき。チェインは遅延、コスト、可動部品を増やします。優れた単一プロンプトは平凡なパイプラインに勝ります。 - 短いエッセイやスピーチのように、一つの連続した声が必要な出力のとき。つなぎ合わせたセクションには継ぎ目が見えます。 - 中間出力を検証できないとき。検証不能なステップのチェインは、自信満々の誤りを大量生産するだけです。 - 作業がまだ探索段階のとき。ステップが何であるべきかまだわからないなら、時期尚早なパイプラインより、行き来する対話の方が速くタスクの輪郭を見つけてくれます。
よくある間違い
- 蒸留された構造化出力ではなく会話全体を次へ渡すこと。次のステップに必要なシグナルが埋もれます。 - 曖昧な引き渡し。あるステップが緩い散文を出力し、次のステップがその構造を推測しなければならない状態です。 - 批評と修正を一つのプロンプトに統合すること。たいてい穏やかな自画自賛と形だけの修正しか得られません。 - 元資料の不足をステップの追加で補おうとすること。チェインは情報を精錬するものであり、生み出すことはできません。 - チェインを強力な単一プロンプトと一度もベンチマークしないこと。チェインが明確に勝たないなら、ステップを削除してください。
チェインはパイプラインであり、パイプラインの価値は検査ポイントによって支えられます。段階間のチェックがないデータパイプラインを信頼しないのなら、検証のないプロンプトチェインも信頼してはいけません。