抽出型と生成型:まったく異なる2つの仕組み
自動要約は必ず2つの系統のどちらかに属し、どちらを使っているかを知るだけで、出力をどれだけ信頼すべきかが変わります。
抽出型(extractive)は、原文に既に存在する文を選び出します。TextRankのような古典的アルゴリズムは文のグラフを作り、文書全体との類似度でスコア付けし、上位の文をそのまま返します。結果はしばしばぎこちなく、代名詞が宙に浮き、接続が切れます。しかし巨大な美点が1つあります。要約中のすべての文が原文にあることが保証されるのです。抽出型は事実を捏造できません。
生成型(abstractive)— LLMベースのツールはすべてこちら — は、原文を言い換え圧縮した新しい文を生成します。出力は流暢で、段落をまたいで論点を統合し、指示に応じてトーンや長さも変えられます。その代償は、生成というメカニズムこそがハルシネーションを生むことです。モデルは統計的に最ももっともらしい要約を書きますが、もっともらしさと忠実さは別物です。生成要約の研究では、「正しそうに聞こえるが原文になく、あるいは原文と矛盾する」内容が機械要約から一貫して見つかっています。
実務上の結論:速さと読みやすさのために生成型要約を使いつつ、数値・名前・日付・因果関係の記述といった具体的な主張は、原文と照合するまで未検証として扱ってください。要約が流暢であることは、正確さについて何も語りません。
圧縮率:要約の目的を先に決める
「これを要約して」は情報不足の依頼であり、情報不足の依頼には無難な答えしか返ってきません。設定できる最も有用なパラメータは圧縮率 — 原文のどれだけを残すか — です。圧縮率を決めるには、要約の目的を決めざるを得ないからです。
1文要約(一般的な記事で約50:1の圧縮)は「そもそも読むべきか?」に答えます。主題と最重要の結論を1つだけ。それ以外は入れません。3〜5個の箇条書き(約10:1)は「読んだら何を学べたか?」に答えます。主要な主張と、それぞれの最も強い根拠を運ぶべきです。1〜2段落(約4:1)は「読まずにこの内容を議論できるか?」に答え、論証の構造 — 何が主張され、何が支え、どんな留保があったか — が必要です。それ以上は要約ではなく抄録の執筆です。
ほぼ同じくらい重要な設定が2つ。読者:医学論文を医師向けに要約するなら効果量と信頼区間を残し、同じ論文を患者向けにするなら「何が変わるのか」「医師に何を聞くべきか」を残します。そして保存対象:「数値・日付・人名はすべて原文どおり保持せよ」と指示すると、最も被害の大きい種類の要約エラーが目に見えて減ります。モデルが最も壊しやすいディテールを言い換えないよう誘導できるからです。
Vague request:
"Summarize this article."
Specified request:
"Summarize the article below.
- Length: exactly 4 bullets, max 20 words each
- Audience: a product manager deciding whether to read it
- Preserve ALL numbers, dates, and names exactly as written
- Final line: one sentence on what the author wants readers to do
- If the article contradicts itself, say so instead of smoothing it over"要約のハルシネーション:どこに潜み、どう捕まえるか
要約のハルシネーションが派手な捏造であることは稀です。ざっと読むと生き残る、小さくて自信ありげな歪みです。繰り返し現れる型を知っておくと、格段に捕まえやすくなります。
エンティティのすり替え:研究がXを発見したのに、要約はそれを別の集団・薬剤・企業に帰属させる。原文が複数の対象を扱うときに特に起きます。数値のドリフト:18%が80%に、「ほぼ半数」が「大多数」に、数百万が数十億になる。様相のロンダリング:「リスクを減らす可能性がある」が「リスクを減らす」になり、原文の仮説が要約では確定した知見になる。因果の格上げ:「AはBと相関していた」が「AはBを引き起こす」になる。研究要約で最も多く、最も有害な歪みです。否定の消失:「有意差は認められなかった」がいつの間にか「差が認められた」になる。そして早すぎる統合:文書が対立する2つの見解を示すと、モデルがどちらの側も主張していない混合された主張に融合してしまうことがあります。
5分の検証ルーチンで大半を捕まえられます。要約からすべての数値・日付・名前・因果動詞を抜き出し、原文で1つずつ検索する — 要約を原文に照合するほうが、原文を読み直すよりはるかに速い。各箇条書きを支える原文の文をそのまま引用させる — 引用で根拠を示せない主張こそ疑うべき主張です。他人に転送するものなら、もう一度要約させて比較する — 2回の実行間でディテールが食い違えば、それは信頼できるハルシネーションのシグナルです。
Source sentence:
"In the trial, drug A was associated with an 18% relative
reduction in events; the difference was not statistically
significant (p = 0.09)."
Hallucinated summary (3 distortions in one line):
"Drug A significantly reduces events by 18%."
1. association -> causation ("reduces")
2. "not significant" -> "significantly"
3. relative reduction presented as absolute effect
Faithful summary:
"Drug A was associated with 18% fewer events,
but the result was not statistically significant."長文書:チャンク分割、Map-Reduce、そして失われるもの
文書が1回のリクエストに収まる量を超えると、要約ツールはMap-Reduce戦略に後退します。テキストをチャンクに分割し、チャンクごとに要約し、その要約群をさらに要約する方式です。機能はしますが、各段階が損失を生み、その損失はランダムではありません。チャンクをまたぐ結び付きが最初に死にます。第2節で提起され第7節で回答された反論は、切り離された2つの断片になるか、反論だけ生き残って回答が消えます。どこでも弱く繰り返されるがどこでも頂点に達しないテーマ(繰り返される但し書き、たびたび登場する脇役)は、すべてのチャンクの局所的な重要度の閾値を下回り、丸ごと消滅します。
知っておくべき位置バイアスもあります。モデルは長いコンテキストの冒頭と末尾を中間より重く扱います。検索研究で報告された「lost in the middle」効果です。実際、長いレポートの中間3分の1が、要約のカバレッジが最も薄い場所です。
すべて対策できます。固定文字数ではなく構造上の境界(章・節)で分割し、どのチャンクも議論の途中から始まらないようにする。チャンク要約に未解決の問いと後方参照を明記させ、reduce段階で再接続できるようにする。契約書や論文には狙いを絞った2次パスを走らせる。「この文書のすべての義務/制限/日付を列挙せよ」— 列挙型プロンプトは自由形式の要約より再現率がはるかに高いのです。本当に重要な文書なら、異なる分割で2回要約し、それぞれの実行が取りこぼしたものを統合してください。
Targeted second pass (much higher recall than a summary):
"From the contract below, produce three exhaustive lists:
1. Every obligation of the Customer (quote the clause number)
2. Every fee, amount, and payment deadline
3. Every termination or renewal condition
If a clause is ambiguous, list it under 'UNCLEAR' with the
clause number. Do not omit items to save space."要約すべきでないとき
要約とは「何が重要でないか」の決定を機械に委任することです。品質と関係なく、その委任自体が誤りである場合があります。
正確な文言に効力が宿る文書 — 契約書、法令、薬の用量指示、安全手順、試験要件 — の要約に頼ってはいけません。「しなければならない」が「したほうがよい」に言い換えられたり、例外条項が1つ静かに落ちたりした瞬間、意味が結果を左右するまさにその箇所で意味が変わります。列挙型プロンプトでチェックリストを作り、フラグの付いた条項は原文で自分で読んでください。
読む体験そのものが本質のテキスト — 文学的な文章、説得のエッセイ、緻密な哲学的論証 — にも注意が必要です。これらの要約は「何を」を捉えて「どのように」を壊しますが、その「どのように」こそが内容だったということが多い。同様に、感情のこもったメールスレッドの要約は、誰がなぜ苛立っているかを伝えるトーンを剥ぎ取ります。返信の前には原文に目を通すほうがたいてい安全です。
最後に、累積の問題に気をつけてください。要約の要約は急速に劣化します。各パスが同じバイアス — 位置バイアス、様相のロンダリング、但し書きの喪失 — を再適用するため、3世代目には流暢で自信に満ちながら原文から実質的に切断されたテキストになり得ます。保存・共有するすべての要約に原文へのリンクを添え、意思決定がディテールに懸かっているときは、要約には「何が真実か」ではなく「どこを見るべきか」だけを教えさせてください。