AIの要約性能を向上させるChain of Density（CoD）を試してみた
今月、情報の密度を高めることによりAIの要約性能を向上させるChain of Density（CoD）という手法が米国コロンビア大学の研究者などによって発表されたので、早速試してみました。
【論文の概要】
疎から密へ： 密度の連鎖プロンプティングによるGPT-4要約
要約に含める「適切な」情報量を選択することは難しい作業である。良い要約は、詳細でエンティティ中心であるべきであり、過度な密度で分かりにくいものであってはならない。このトレードオフをよりよく理解するために、私たちは「密度の連鎖」（CoD）と呼ぶプロンプトを使って、GPT-4の要約の密度を高めていくよう求めた。
具体的には、GPT-4は、長さを増加させることなく、欠落している顕著なエンティティを繰り返し組み込む前に、最初のエンティティが疎な要約を生成する。CoDによって生成された要約は、バニラプロンプトによって生成されたGPT-4要約よりも抽象度が高く、融合度が高く、リードバイアスが少ない。CNNのDailyMailの記事100件に対する人間の嗜好調査を行い、人間は、バニラプロンプトによって生成された要約よりも密度が高く、人間が書いた要約とほぼ同じ密度を持つGPT-4要約を好むことがわかった。定性的な分析は、情報量と読みやすさの間にトレードオフが存在するという考え方を支持している。500の注釈付きCoD要約と5,000の注釈なし要約は、HuggingFace（このhttps URL）で自由に利用できる。
論文では、以下のグラフのように、人間の要約と同程度の情報密度を持ったCoDの3段階目の要約が最も人に好まれるとされています。
なお、通常のGPT-4の要約の情報密度は、CoDの2段階目と近いようです。
この記事を書くに当たり、以下のgenkAIjokyoさんの記事を参考にしました。
１．CoDプロンプトの概要
具体的なプロンプトは以下のとおりです。
You will ask me for an article. Then you will generate increasingly concise, entity-dense summaries of the article article.
Repeat the following 2 steps 5 times.
Step 1. Identify 1-3 informative entities (";" delimited) from the article which are missing from the previously generated summary.
Step 2. Write a new, denser summary of identical length which covers every entity and detail from the previous summary plus the missing entities.
A missing entity is:
- relevant to the main story,
- specific yet concise (5 words or fewer),
- novel (not in the previous summary),
- faithful (present in the article),
- anywhere (can be located anywhere in the article).
Guidelines:
- The first summary should be long (4-5 sentences, ~80 words) yet highly non-specific, containing little information beyond the entities marked as missing. Use overly verbose language and fillers (e.g., "this article discusses") to reach ~80 words.
- Make every word count: rewrite the previous summary to improve flow and make space for additional entities.
- Make space with fusion, compression, and removal of uninformative phrases like "the article discusses".
- The summaries should become highly dense and concise yet self-contained, i.e., easily understood without the article.
- Missing entities can appear anywhere in the new summary.
- Never drop entities from the previous summary. If space cannot be made, add fewer new entities.
Remember, use the exact same number of words for each summary.
Answer in JSON. The JSON should be a list (length 5) of dictionaries whose keys are "Missing_Entities" and "Denser_Summary".
このプロンプトを以下のようにChatGPTのカスタム指示に貼り付けて、新しいチャットを開始し、要約してもらいたい文章（日本語でも可）を入力することで、CoDが使用できます。
但し、カスタム指示への入力は1500字までであり、JSONで出力する必要はないので、最後の2文「Answer in JSON. The JSON should be a list (length 5) of dictionaries whose keys are "Missing_Entities" and "Denser_Summary".」は削除してください。
〇 プロンプトの日本語訳
私に記事を求めてください。次に、その記事の要約を繰り返し、より簡潔でエンティティが濃密になるように生成します。
以下の2つのステップを5回繰り返します。
ステップ1. 前回の要約から欠落している記事の情報的なエンティティを1-3つ識別します（";"で区切られる）。
ステップ2. 前回の要約の全てのエンティティと詳細、そして欠落しているエンティティを含む、同じ長さの新しい濃密な要約を書きます。
欠落しているエンティティとは、以下の条件を満たすものです：
- 主要なストーリーに関連している。
- 特定的でありながら簡潔（5語以下）。
- 新規（前回の要約には含まれていない）。
- 忠実（記事内に存在する）。
- どこにでも存在する（記事のどこにでも位置することができる）。
ガイドライン：
- 最初の要約は長いものの（4-5文、約80語）、欠落しているとマークされたエンティティを超えた情報はほとんど含まれていない非常に非特定的なものであるべきです。冗長な言葉や埋め草（例："this article discusses"）を使って約80語に達するようにします。
- すべての単語を大切に：前回の要約を書き直して流れを改善し、追加のエンティティのスペースを確保します。
- "the article discusses"のような情報のないフレーズを削除することでスペースを確保しましょう。
- 要約は非常に濃密で簡潔でありながら、記事なしで簡単に理解できるものであるべきです。
- 欠落しているエンティティは新しい要約のどこにでも現れることができます。
- 前回の要約からエンティティを削除してはなりません。スペースが確保できない場合は、新しいエンティティを少なく追加します。
要約ごとに正確に同じ数の単語を使用してください。
JSON形式で回答してください。
JSONは、"Missing_Entities"と"Denser_Summary"というキーを持つ辞書のリスト（長さ5）であるべきです。
２．ニュース記事の要約
以下のニュース記事を要約させてみました。
(1) CoDを使用しない通常の要約
最初に、CoDを使わずに、普通にChatGPT（GPT-4モデル）に要約させてみた結果は以下の通りです。
＞以下の文章を4～5文、約80語で要約してください。 文章：（記事のテキストを貼り付け）
DeepMindのCEO、デミス・ハサビスは、OpenAIの「ChatGPT」を超えるAIシステム「Gemini」を開発中であると述べています。この新しいシステムは、「GPT-4」と似ているが、AlphaGoの技術を組み込むことで、計画や問題解決の新しい能力を持つことを目指しています。「Gemini」は23年5月の「Google I/O」で初めて紹介されました。DeepMindの強化学習の経験は、「Gemini」の能力向上に役立つ可能性があります。ハサビスは、AIの進化のペースを考慮すると、安全対策の時間は限られていると警告しています。
（5文、270字）
ちなみに、裏技として、この記事のテキストをそのままChatGPTに入力すると、文字数制限にかかりますが、Advanced Data Analysisに設定すると、文字数制限を少し引き上げることができます。
(2) CoDプロンプト（英語）を使用した要約
次に、カスタム指示に上記のCoDプロンプト（英語）を入力して、同じ記事を要約させてみます。
＞以下の文章を日本語で要約してください。 文章：（記事のテキストを貼り付け）
要約 1（約80語）：
この記事は、GoogleのAI研究所DeepMindが開発中の新しいAIモデル「Gemini」について議論しています。DeepMindのCEOデミス・ハサビスによると、この新しいモデルは、OpenAIの「ChatGPT」よりも優れているとされています。Geminiは、AlphaGoの技術と大規模言語モデルを組み合わせており、計画の立案や問題解決の能力を持っていると言われています。その他の詳細や背景情報も記事内で提供されています。（4文、216字）
1-3の情報的エンティティ：
１．Google I/O開発者会議
２．強化学習
３．Google Brain
要約 2（約80語）：
DeepMindは、Google I/O開発者会議で「Gemini」を初めて紹介し、AlphaGoの強化学習技術と大規模言語モデルを組み合わせています。この技術は、計画の立案や問題解決の能力を持っているとCEOのデミス・ハサビスは述べています。さらに、23年4月にはDeepMindとGoogleのAI部門「Google Brain」が統合され、「Google DeepMind」が設立されました。この組織は、AIの技術進化をリードしています。（4文、219字）
1-3の情報的エンティティ：
１．デミス・ハサビス
２．AI安全グループ
３．シェーン・レッグ
要約 3（約80語）：
DeepMindの「Gemini」は、CEOデミス・ハサビスにより、Google I/Oで紹介され、AlphaGoの強化学習と大規模言語モデルを融合した技術を利用しています。DeepMindと「Google Brain」の統合により「Google DeepMind」が設立。ハサビスと共同創業者シェーン・レッグは、AIの潜在的なリスクに対する対策として「AI安全」グループを立ち上げ、研究を進めています。（3文、199字）
1-3の情報的エンティティ：
１．GPT-4
２．ツリーサーチ
３．ロボットアーム
要約 4（約80語）：
「Gemini」はGoogle I/Oで紹介され、AlphaGoの強化学習と大規模言語モデルを組み合わせているとCEOデミス・ハサビスが述べています。DeepMindと「Google Brain」が統合し「Google DeepMind」を設立。共同創業者シェーン・レッグは「AI安全」グループを率い、ハサビスとともにAIリスクに関する研究を進めています。さらに、DeepMindはGPT-4やツリーサーチ、ロボットアーム技術を研究しています。（4文、219字）
1-3の情報的エンティティ：
１．1億ドル以上の開発費
２．サム・アルトマン
３．Google DeepMind設立
要約 5（約80語）：
DeepMindの「Gemini」は、Google I/Oで紹介され、AlphaGoの強化学習と大規模言語モデルを融合。CEOデミス・ハサビスと共同創業者シェーン・レッグはAIの潜在的リスク研究を進めています。DeepMindと「Google Brain」の統合で「Google DeepMind」が設立。GPT-4の開発は1億ドル以上の費用がかかったとOpenAIのCEOサム・アルトマンが語り、その影響が「Gemini」の開発にも見られます。（4文、220字）
CoDを使用した要約の中では、Geminiの概要と特徴、AIのリスク対策の記述のバランスが取れているのは、要約3でしょうか。
要約1と要約2は、AIのリスク対策に関する記述が欠けており、要約4や要約5は情報を詰め込み過ぎに感じます。
文字数が多いこともありますが、結局、CoDを使用しない通常の要約が一番よく書けているように感じます。
(3) CoDプロンプト（日本語）を使用した要約
以下の日本語プロンプトをカスタム指示に入力して、同じ記事を要約させてみます。
ユーザーの入力した記事を要約してください。
次に、その記事の要約を繰り返し、より簡潔でエンティティが濃密になるように生成します。
以下の2つのステップを5回繰り返します。
ステップ1. 前回の要約から欠落している記事の情報的なエンティティを1-3つ識別します。
ステップ2. 前回の要約の全てのエンティティと詳細、そして欠落しているエンティティを含む、同じ長さの新しい濃密な要約を書きます。
欠落しているエンティティとは、以下の条件を満たすものです：
- 主要なストーリーに関連している。
- 特定的でありながら簡潔（5語以下）。
- 新規（前回の要約には含まれていない）。
- 忠実（記事内に存在する）。
- どこにでも存在する（記事のどこにでも位置することができる）。
ガイドライン：
- 最初の要約は長いものの（4-5文、約80語）、欠落しているとマークされたエンティティを超えた情報はほとんど含まれていない非常に非特定的なものであるべきです。冗長な言葉や埋め草（例："this article discusses"）を使って約80語に達するようにします。
- すべての単語を大切に：前回の要約を書き直して流れを改善し、追加のエンティティのスペースを確保します。- "the article discusses"のような情報のないフレーズを削除することでスペースを確保しましょう。
- 要約は非常に濃密で簡潔でありながら、記事なしで簡単に理解できるものであるべきです。
- 欠落しているエンティティは新しい要約のどこにでも現れることができます。
- 前回の要約からエンティティを削除してはなりません。スペースが確保できない場合は、新しいエンティティを少なく追加します。
要約ごとに正確に同じ数の単語を使用してください。
以下がその出力結果です。
＞（記事のテキストを貼り付け）
まず、この記事を約80語で非特定的に要約します。
この記事は、GoogleのAI研究所DeepMindが、OpenAIのChatGPTを超える新しいAIモデル「Gemini」を開発していることについて説明しています。DeepMindのCEO、デミス・ハサビスは、GeminiはAlphaGoの技術と大規模言語モデルを組み合わせたもので、新しいイノベーションが期待されると述べています。また、DeepMindとGoogle Brainが統合されて「Google DeepMind」が設立され、AIの進化とそれに伴うリスクについての考察も含まれています。（3文、248字）
＞指示に従って要約を5回繰り返してください。
了解しました。まず、前回の要約から欠落している情報的なエンティティを特定し、新しい要約を作成します。このプロセスを5回繰り返します。
1回目の要約
欠落しているエンティティ:
１．2016年にAlphaGoが囲碁の世界チャンピオンを破ったこと
２．Geminiの初紹介は「Google I/O」
３．AIの研究を加速させるため、DeepMindとGoogle Brainが統合され「Google DeepMind」設立
要約:
GoogleのDeepMindがOpenAIのChatGPTを超える「Gemini」を開発しており、CEOのデミス・ハサビスが新しいイノベーションを示唆しています。2016年にDeepMindのAlphaGoが囲碁の世界チャンピオンを破った後、Geminiは「Google I/O」で初めて紹介されました。さらに、AIの研究を加速するため、DeepMindとGoogle Brainが統合されて「Google DeepMind」が設立されました。（3文、220字）
2回目の要約
欠落しているエンティティ:
１．Geminiは大規模言語モデル
２．強化学習技術と「ツリーサーチ」手法の使用
３．デミス・ハサビスのAIのリスクと可能性に関する見解
要約:
GoogleのDeepMindは、ChatGPTを超える大規模言語モデル「Gemini」を開発中で、CEOのハサビスが新しいイノベーションを示唆しています。Geminiは「Google I/O」で初紹介され、AlphaGoの技術や「ツリーサーチ」手法を利用しています。DeepMindとGoogle Brainの統合で「Google DeepMind」が設立され、ハサビスはAIのリスクと可能性について語っています。（3文、205字）
3回目の要約
欠落しているエンティティ:
１．Geminiの目標は計画の立案や問題解決の新しい能力
２．強化学習の詳細とその用途
３．AIの潜在的なリスクに関する研究と警告
要約:
DeepMindは、ChatGPTを超えるGeminiを開発中で、新しい計画の立案や問題解決の能力を持つことを目指しています。このモデルは「Google I/O」で紹介され、AlphaGo技術や強化学習の手法を組み合わせています。DeepMindとGoogle Brainが「Google DeepMind」を形成し、ハサビスはAIの潜在的なリスクと利点についての意見を共有しています。（3文、190字）
4回目の要約
欠落しているエンティティ:
１．AlphaGoとイ・セドルの対戦
２．GPT-4の訓練とトランスフォーマーの使用
３．DeepMindのロボティクスから神経科学までの幅広い研究
要約:
DeepMindの新AI「Gemini」は、計画や問題解決の新能力を目指しており、AlphaGo技術と強化学習を利用しています。AlphaGoは2016年にプロ棋士イ・セドルを破ったことで有名です。GPT-4のようなモデルはトランスフォーマーで訓練され、DeepMindはロボティクスや神経科学の研究も行っています。「Google DeepMind」はAIの進化とリスクに取り組む組織としてハサビスによって紹介されています。（4文、211字）
5回目の要約
欠落しているエンティティ:
１．「Gemini」の開発費用とその高さ
２．ChatGPTの公開後のGoogleの対応
３．AIの危険性と安全対策の必要性
要約:
DeepMindは、AlphaGo技術を基に新AI「Gemini」を開発中で、計画や問題解決の能力を目指しています。このモデルは高額な開発費用がかかると予測されており、2016年のAlphaGoとイ・セドルの対戦は大きな衝撃を与えました。ChatGPTの公開後、Googleは競争力を高める動きを見せており、DeepMindはAIの危険性と必要な安全対策にも注目しています。ハサビスは「Google DeepMind」のリーダーとして、AIの進化とリスクについての研究を強調しています。（4文、242字）
Geminiの概要と特徴、AIのリスク対策の記述のバランスが取れているのは、3回目の要約でしょうか。
1回目の要約は、AIのリスク対策に関する記述が欠けており、要約4や要約5はあまり重要でない情報を盛り込んで、焦点がずれてきています。
ただ、やはり、CoDを使用しない通常の要約が一番よく書けているように感じます。
３．note記事の要約
以下のnote記事を要約させてみました。
(1) CoDを使用しない通常の要約
最初に、CoDを使わずに、普通にChatGPT（GPT-4モデル）に要約させてみた結果は以下の通りです。
＞以下の文章を4～5文、約80語で要約してください。 文章：（記事のテキストを貼り付け）
人工知能の研究が急速に進展しており、AlphaGoやPonanza、GPT-3などの成功例が出ています。しかし、AIが人間のような意識を持つかは未だ不明で、意識の定義やその研究の歴史があります。意識は、自らの状態や周囲の状況を認識する状態を指します。デカルトは物質と心の二元論を提唱し、これが近代科学の発展に影響を与えましたが、近年は神経科学や医学の進歩により批判が増えています。（4文、190字）
(2) CoDプロンプト（日本語）を使用した要約
上記２.(3)の日本語プロンプトをカスタム指示に入力して、同じ記事を要約させてみます。
以下がその出力結果です。
＞（記事のテキストを貼り付け）
まず、この記事は人工意識についての説明を行っています。記事は、人工知能の進歩、意識の定義、デカルトの実体二元論とその批判、そして心と身体の関係性について述べています。
要約（約80語）:
この記事では、人工知能の進歩と意識についての議論を紹介しています。特に、DeepMindのAlphaGoやGPT-3のようなAIの進化に触れつつ、意識とは何かという問いに焦点を当てています。デカルトの実体二元論とその現代の批判についても詳しく述べられており、心と身体の関係性についての考察も行われています。（3文、153字）
次に、この要約から欠落している情報的なエンティティを1-3つ識別し、それを踏まえて新しい要約を作成します。
ステップ1: 前回の要約から欠落している情報的なエンティティを1-3つ識別します。
１．AIの実例としてのAlphaGoとPonanzaの勝利。
２．「意識」の学術的定義。
３．デカルト的実体二元論の主張とその医学的批判。
ステップ2: 前回の要約と欠落しているエンティティを含む新しい要約を書きます。
新しい要約①:
記事は人工知能の進歩、特にAlphaGoやPonanzaの勝利に触れ、意識の学術的な定義を探求しています。デカルトの実体二元論とその現代的な批判が詳しく紹介されており、意識が物理的な脳の働きとどのように関連しているかについても議論されています。医学的な研究により、デカルトの実体二元論の主張が批判されていることも明らかにされています。（3文、166字）
次に、この要約からさらに欠落している情報的なエンティティを識別し、それを基に新しい要約を作成します。
ステップ1: 前回の要約から欠落している情報的なエンティティを1-3つ識別します。
１．GPT-3の言及とその文章生成能力。
２．デカルトの「我思う、ゆえに我あり」という考え方。
３．デカルトの劇場や「デカルトの劇場」を否定するダニエル・デネットの考え。
ステップ2: 前回の要約と欠落しているエンティティを含む新しい要約を書きます。
新しい要約②:
この記事は、AIの進歩をAlphaGoやPonanzaの勝利を例に挙げて紹介し、特にGPT-3の文章生成能力にも触れています。意識の学術的定義と、デカルトの「我思う、ゆえに我あり」という考え方が解説されています。デカルトの実体二元論とその現代的な批判、特にデネットによる「デカルトの劇場」への反論も詳しく述べられています。（3文、161字）
次に、この要約からさらに欠落している情報的なエンティティを識別し、それを基に新しい要約を作成します。
ステップ1: 前回の要約から欠落している情報的なエンティティを1-3つ識別します。
１．SF映画やアニメでの意識を持つAIやロボットの現実的な誕生の可能性。
２．デカルトの「物質」と「心」に関する考え。
３．心と脳の関係性をコンピュータのハードウェアとプログラムにたとえる部分。
ステップ2: 前回の要約と欠落しているエンティティを含む新しい要約を書きます。
新しい要約③:
記事はAIの進歩と、特にAlphaGoやPonanzaの勝利、GPT-3の文章生成能力に焦点を当てています。意識を持つAIやロボットの可能性、デカルトの「我思う、ゆえに我あり」という考えや「物質」と「心」の概念についても触れられています。デカルトの実体二元論とその現代的批判、特にデネットの反論が紹介されています。また、心と脳の関係をコンピュータのハードウェアとプログラムにたとえる考察も行われています。（4文、202字）
次に、この要約からさらに欠落している情報的なエンティティを識別し、それを基に新しい要約を作成します。
ステップ1: 前回の要約から欠落している情報的なエンティティを1-3つ識別します。
１．デカルトの松果体における物質と精神の相互作用の考え。
２．カルト的実体二元論の神経科学や医学からの批判。
３．の特定の領域の損傷が精神機能に及ぼす影響の例。
ステップ2: 前回の要約と欠落しているエンティティを含む新しい要約を書きます。
新しい要約④:
記事はAIの進歩をAlphaGoやPonanzaの勝利、GPT-3の文章生成能力を例に紹介しています。SF映画やアニメの意識を持つAIの可能性にも触れています。デカルトの「我思う、ゆえに我あり」という考えや「物質」と「心」の概念が詳述され、松果体での物質と精神の相互作用の議論も取り上げられています。デカルト的実体二元論は神経科学や医学からも批判されており、特定の脳領域の損傷が精神機能にどのような影響を及ぼすかの例も示されています。心と脳の関係は、コンピュータのハードウェアとプログラムに例えられている。（4文、253字）
次に、この要約からさらに欠落している情報的なエンティティを識別し、それを基に新しい要約を作成します。
ステップ1: 前回の要約から欠落している情報的なエンティティを1-3つ識別します。
１．デカルト的実体二元論を「機械の中の幽霊」と批判したギルバート・ライル。
２．ネットの「脳内で物質と精神が相互作用する」というデカルトの主張への批判。
３．の働きがミクロ的には科学的・物理的、マクロ的には自由意思に基づくとの考察。
ステップ2: 前回の要約と欠落しているエンティティを含む新しい要約を書きます。
新しい要約⑤:
記事はAIの進歩をAlphaGoやPonanzaの勝利、GPT-3の文章生成能力を例に紹介しています。SF映画やアニメの意識を持つAIの可能性にも触れています。デカルトの「我思う、ゆえに我あり」や「物質」と「心」の考えが紹介され、特に松果体での物質と精神の相互作用についての議論もあります。ギルバート・ライルとダニエル・デネットによるデカルト的実体二元論への批判が詳しく述べられ、特定の脳領域の損傷が精神機能に及ぼす影響の例も示されています。心と脳の関係はコンピュータのハードウェアとプログラムに例えられ、心の働きについての考察も行われています。（4文、254字）
次に、この要約からさらに欠落している情報的なエンティティを識別し、それを基に新しい要約を作成します。
ステップ1: 前回の要約から欠落している情報的なエンティティを1-3つ識別します。
１．デカルトが提唱した物心二元論。
２．カルトの「意識の内部」と「外部の実在」に関する考え。
３．攻殻機動隊」の英語タイトルが”Ghost in the machine”に由来するとの情報。
ステップ2: 前回の要約と欠落しているエンティティを含む新しい要約を書きます。
新しい要約⑥:
記事はAIの進歩をAlphaGoやPonanzaの勝利、GPT-3の文章生成能力を例に紹介しています。SF映画やアニメの意識を持つAIの可能性にも触れています。デカルトの「我思う、ゆえに我あり」という考えや「意識の内部」と「外部の実在」に関する概念、物心二元論の提唱が詳述されています。ギルバート・ライルとダニエル・デネットによるデカルト的実体二元論への批判が紹介され、特にデネットの「脳内で物質と精神が相互作用する」主張への反論が強調されています。「攻殻機動隊」の英語タイトルの由来も触れられています。心と脳の関係はコンピュータのハードウェアとプログラムに例えられ、心の働きについての考察も行われています。（6文、304字）
次に、この要約からさらに欠落している情報的なエンティティを識別し、それを基に新しい要約を作成します。
ステップ1: 前回の要約から欠落している情報的なエンティティを1-3つ識別します。
１．デカルト的実体二元論の影響と近代合理主義や近代科学の発展への寄与。
２．のウェルニッケ野や海馬を中心とする側頭葉内側部の損傷が引き起こす症状の具体例。
３．と脳の関係を考える上での非ノイマン型の量子コンピュータの例。
ステップ2: 前回の要約と欠落しているエンティティを含む新しい要約を書きます。
新しい要約⑦:
記事はAIの進歩をAlphaGoやPonanzaの勝利、GPT-3の文章生成能力を例に紹介しています。SF映画やアニメの意識を持つAIの可能性にも触れています。デカルトの「我思う、ゆえに我あり」や物心二元論に基づく影響と近代科学の発展について詳述されています。ギルバート・ライルとダニエル・デネットによるデカルト的実体二元論への批判が紹介され、特定の脳領域の損傷が精神機能に及ぼす影響の例も挙げられています。「攻殻機動隊」の英語タイトルの由来、心と脳の関係を考える際の非ノイマン型の量子コンピュータの例も触れられています。（5文、261字）
次に、この要約からさらに欠落している情報的なエンティティを識別し、それを基に新しい要約を作成します。
ステップ1: 前回の要約から欠落している情報的なエンティティを1-3つ識別します。
１．デカルトの「脳内の松果体において、物質と精神が相互作用する」という説明。
２．デネットの「無限後退」という主張。
３．人間の反応が資質や後天的な経験や知識によって異なること。
ステップ2: 前回の要約と欠落しているエンティティを含む新しい要約を書きます。
新しい要約⑧:
記事はAIの進歩をAlphaGoやPonanzaの勝利、GPT-3の文章生成能力を例に紹介しています。SF映画やアニメの意識を持つAIの可能性について触れられ、デカルトの「我思う、ゆえに我あり」や物心二元論、松果体での物質と精神の相互作用の考えが紹介されています。ギルバート・ライルとダニエル・デネットの批判やデネットの「無限後退」の主張も取り上げられています。人の反応が資質や経験によって異なる点、心と脳の関係を考える際の非ノイマン型の量子コンピュータの例、そして「攻殻機動隊」の英語タイトルの由来も触れられています。（4文、260字）
最後に、この要約からさらに欠落している情報的なエンティティを識別し、それを基に新しい要約を作成します。
ステップ1: 前回の要約から欠落している情報的なエンティティを1-3つ識別します。
１．デカルトの実体二元論が近代合理主義や近代科学の発展に寄与したこと。
２．脳から直接プログラムを取り出すことの困難性。
３．心の働きが科学的・物理的に説明できる現象と自由意思の関連性。
ステップ2: 前回の要約と欠落しているエンティティを含む新しい要約を書きます。
新しい要約⑨:
記事はAIの進歩をAlphaGoやPonanzaの勝利、GPT-3の文章生成能力を例に紹介しています。SF映画やアニメの意識を持つAIの可能性について触れられ、デカルトの「我思う、ゆえに我あり」や物心二元論、松果体での物質と精神の相互作用の考えが紹介されています。この実体二元論が近代合理主義や近代科学の発展に寄与したこと、ギルバート・ライルとダニエル・デネットの批判、デネットの「無限後退」の主張も取り上げられています。心の働きが科学的・物理的に説明できる現象と自由意思の関連性、脳とプログラムの関係の困難性、そして「攻殻機動隊」の英語タイトルの由来も触れられています。（4文、286字）
これで、記事の主要な内容を含む濃密な要約が完成しました。
5回で止まらず、9回もCoDの要約改善を繰り返しました。
人工知能の進歩、意識の定義、デカルトの実体二元論とその批判、心と身体の関係性などの記述のバランスが取れているのは、新しい要約④でしょうか。
新しい要約①や②は、心と身体の関係性に関する記述が不十分であり、新しい要約⑤以降は、様々な情報を盛り込み過ぎて、まとまりのない印象があります。
今回は、CoDを使用しない通常の要約の情報量が少なかったため、CoDを使用した要約は負けていないように感じます。
４．小説の要約
夏目漱石の「夢十夜」の第六話を要約させてみました。
(1) CoDを使用しない通常の要約
最初に、CoDを使わずに、普通にChatGPT（GPT-4モデル）に要約させてみた結果は以下の通りです。
＞以下の文章を4～5文、約80語で要約してください。 文章：（記事のテキストを貼り付け）
運慶が護国寺の山門で仁王を彫っており、多くの人々が見物していた。その中には、明治時代の人々や車夫が多かった。運慶は古風な格好で、見物人たちの評判を気にせず、一心に仁王の彫刻に集中していた。ある見物人は彫刻は既に木の中に存在するものを掘り出すものだと述べ、主人公も彫刻に挑戦するが、仁王を見つけることができなかった。（4文、157字）
(2) CoDプロンプト（日本語）を使用した要約
上記２.(3)の日本語プロンプトをカスタム指示に入力して、同じ記事を要約させてみます。
以下がその出力結果です。
＞（記事のテキストを貼り付け）
要約1 (約80語)
この記事は、運慶が護国寺の山門で仁王を刻んでいる様子を中心に描写しています。多くの見物人が集まって、運慶の彫刻技術に感心しています。ある若い男は、彫刻は既に木の中にある形を掘り出すことだと解説します。主人公も自分で仁王を彫ってみることを決意しますが、彼の試みは成功しない。運慶の特別な才能を再認識することとなります。（5文、158字）
欠落しているエンティティを1-3つ識別 (ステップ1)
１．赤松と朱塗りの門の景色
２．運慶の服装と古風な雰囲気
３．主人公が鑿と金槌を使って自分で彫刻を試みる部分
要約2 (約80語)
運慶が護国寺で仁王を彫刻中。赤松と朱塗りの門が美しい風景を形成。多くの人々が運慶の作業を賞賛し、その中には彫刻の技法についての洞察を持つ若者も。運慶は古風な服装をしており、彼の技術と姿勢に人々は感銘を受ける。主人公は彫刻を自分で試みるも、仁王の形を見つけることができず、運慶の才能の偉大さを実感する。（5文、150字）
欠落しているエンティティを1-3つ識別 (ステップ1)
１．山門の前の赤松の位置と形
２．運慶が振り向きもせず彫り続ける様子
３．若い男の詳細な説明と反応
要約3 (約80語)
護国寺の山門前の赤松と門の美しい風景の中、運慶は仁王を彫刻している。運慶は古風な服装で、振り向くことなく一心に彫っている。多くの人が彼の作業を見て感心し、特に若い男は彫刻に対する深い理解を示す。主人公は彫刻を試みるも失敗し、運慶の才能を再確認。彼の彫刻技法は、木の中に隠れた形を掘り出すことであると感じる。（5文、153字）
欠落しているエンティティを1-3つ識別 (ステップ1)
１．見物人たちの反応と評価
２．運慶の眉や鼻を彫る瞬間の描写
３．主人公が家に帰り、道具を取り出す様子
要約4 (約80語)
護国寺の美しい山門前で、運慶は仁王を一心に彫刻。彼の技術に感銘を受ける見物人たちが賞賛と評価を交わす中、若い男が彫刻の奥深さを語る。運慶の彫る仁王の眉や鼻の描写が生き生きと描かれる。主人公は自ら彫刻を試みるが失敗。運慶の非凡な才能と彫刻の真髄に触れ、家に帰り道具を取り出し挑戦する。（5文、141字）
欠落しているエンティティを1-3つ識別 (ステップ1)
１．赤松と朱塗りの門の対比
２．運慶の古風な服装とその雰囲気
３．木の中に隠れた形を掘り出す彫刻の哲学
要約5 (約80語)
運慶は護国寺の山門前、赤松と朱塗りの門の間で仁王の彫刻を行っている。その古風な服装と一心に彫る姿は見物人たちを魅了し、若者は彫刻の真髄について語る。彫刻は木の中の形を掘り出す哲学とされる。主人公もこれに感銘を受けて挑戦するが、運慶の特別な技術を再認識する結果となる。運慶の非凡さが強調される物語である。（5文、151字）
どの要約も、「運慶の才能の偉大さを実感する。」という内容のズレたものとなっており、この文章の主題である最後の「ついに明治の木にはとうてい仁王は埋まっていないものだと悟った。」という部分（日本古来の良い伝統が失われてしまった近代社会を漱石が批判した部分）を捉えられていませんでした。
今回の情報追加は、細かい描写にこだわり過ぎてポイントを外しており、どの要約も合格水準に達していなかったようです。
５．英語のニュース記事の要約
以下の英語のニュース記事を要約させてみました。２.で要約したニュース記事の英語版になります。
(1) CoDを使用しない通常の要約
最初に、CoDを使わずに、普通にChatGPT（GPT-4モデル）に要約させてみた結果は以下の通りです。
＞Please summarize the following article in 4-5 sentences and ~80 words.
Article:（記事のテキストを貼り付け）
Google's DeepMind, known for its AlphaGo program, is developing a new AI system named Gemini, aimed at surpassing OpenAI's ChatGPT. CEO Demis Hassabis mentioned that Gemini will combine techniques from AlphaGo with the language capabilities of large models like GPT-4. This system seeks to incorporate planning and problem-solving skills. As Google ramps up its AI initiatives in response to ChatGPT's success, concerns about AI's potential risks emerge, with DeepMind focusing on assessing the capabilities and controllability of new AI models.（4文、80単語）
【日本語訳】
GoogleのDeepMindは、AlphaGoプログラムで知られるようになったが、OpenAIのChatGPTを超える新しいAIシステム、Geminiを開発中です。CEOのデミス・ハサビスは、GeminiはAlphaGoの技術とGPT-4のような大規模モデルの言語能力を組み合わせると述べました。このシステムは、計画や問題解決のスキルを取り入れることを目指しています。ChatGPTの成功を受けてGoogleがAIの取り組みを強化する中、AIの潜在的なリスクに関する懸念が浮上してきており、DeepMindは新しいAIモデルの能力と制御性を評価することに焦点を当てています。
(2) CoDプロンプト（英語）を使用した要約
次に、カスタム指示に上記のCoDプロンプト（英語）を入力して、同じ記事を要約させてみます。
Summary 1 (~80 words): This article discusses the recent announcement by Google DeepMind's CEO, Demis Hassabis, about their next big AI project. DeepMind is working on an AI system named Gemini, which draws inspiration from their groundbreaking AlphaGo. They aim to enhance Gemini with techniques from AlphaGo to surpass the capabilities of OpenAI's ChatGPT. Hassabis also provided some insights into the potential of AI in the future and the challenges and risks associated with rapid advancements in the field.（4文、75単語）
【日本語訳】
この記事は、Google DeepMindのCEO、Demis Hassabisが、彼らの次の大きなAIプロジェクトについての最近の発表について議論しています。DeepMindは、画期的なAlphaGoからインスピレーションを得たAIシステム「Gemini」の開発に取り組んでいます。彼らはAlphaGoの技術をGeminiに組み込むことで、OpenAIのChatGPTの能力を超えることを目指しています。Hassabisはまた、AIの将来の可能性や、この分野の急速な進展に伴う課題やリスクについてもいくつかの洞察を提供しました。
Missing Entities from Summary 1:
・GPT-4
・reinforcement learning
・Google's developer conference
Summary 2 (~80 words): Demis Hassabis, CEO of Google DeepMind, reveals the development of Gemini, an AI system leveraging techniques from their AlphaGo program. DeepMind intends Gemini to outperform OpenAI's ChatGPT, powered by GPT-4. The AI combines strengths of AlphaGo systems with the language capabilities of large models. The novel approach incorporates reinforcement learning, previously used in AlphaGo. Interestingly, Gemini was introduced at Google's developer conference, showcasing Google's latest AI innovations and their envisioned impact on the technological landscape.（5文、75単語）
【日本語訳】
Google DeepMindのCEO、Demis Hassabisは、AlphaGoプログラムの技術を活用したAIシステム「Gemini」の開発を明らかにしました。DeepMindは、GPT-4によって駆動されるOpenAIのChatGPTを上回ることをGeminiに期待しています。このAIは、AlphaGoシステムの強みと大規模モデルの言語能力を組み合わせています。新しいアプローチでは、AlphaGoで以前使用されていた強化学習が取り入れられています。興味深いことに、GeminiはGoogleの開発者カンファレンスで紹介され、Googleの最新のAI革新とその技術的な風景への予想される影響を展示しました。
Missing Entities from Summary 2:
・tree search
・Sam Altman; GPT-4 cost
・Google DeepMind merger with Brain
Summary 3 (~80 words): DeepMind's Gemini, influenced by AlphaGo's techniques including tree search and reinforcement learning, aims to exceed ChatGPT's performance, which is GPT-4 powered. Introduced at Google's developer conference, it signifies Google's commitment to AI innovation. Sam Altman, OpenAI CEO, disclosed GPT-4's development cost exceeded $100 million. This competitive landscape further led to the merger of Hassabis' DeepMind with Google's Brain, highlighting the synthesis of foundational forces in AI's recent advancements and DeepMind's historical prowess.（4文、72単語）
【日本語訳】
DeepMindのGeminiは、ツリーサーチや強化学習を含むAlphaGoの技術に影響を受け、GPT-4によって駆動されるChatGPTの性能を超えることを目指しています。Googleの開発者カンファレンスで紹介されたことは、GoogleがAI革新への献身を示していることを意味しています。OpenAIのCEO、Sam Altmanは、GPT-4の開発費用が1億ドルを超えたことを明らかにしました。この競争的な状況は、さらに、HassabisのDeepMindとGoogleのBrainの合併につながりました。これは、AIの最近の進歩における基盤となる力の融合と、DeepMindの歴史的な実力を強調しています。
Missing Entities from Summary 3:
・AI safety concerns
・Shane Legg's "AI safety" group
・AI risks comparable to nuclear war
Summary 4 (~80 words): DeepMind's Gemini employs AlphaGo techniques, like tree search, to challenge GPT-4's ChatGPT. Revealed at Google's conference, it marks Google's AI dedication. GPT-4, costing over $100 million, shows the AI financial landscape. DeepMind's merger with Google's Brain underscores AI's pivotal evolution. Amidst this, AI safety concerns loom. DeepMind's Shane Legg leads an "AI safety" group, addressing risks, some likened to nuclear threats. The race for AI supremacy necessitates balanced innovation and safeguarding measures.（7文、72単語）
【日本語訳】
DeepMindのGeminiは、ツリーサーチのようなAlphaGoの技術を使用して、GPT-4のChatGPTに挑戦しています。Googleのカンファレンスで明らかにされたこの取り組みは、GoogleのAIへの献身を示しています。1億ドルを超えるGPT-4のコストは、AIの財務的な風景を示しています。DeepMindとGoogle's Brainの合併は、AIの重要な進化を強調しています。この中で、AIの安全性への懸念が浮かび上がっています。DeepMindのShane Leggは「AI安全性」グループを率いており、核の脅威に例えられるようなリスクに対処しています。AIの覇権を競うレースは、バランスの取れた革新と安全対策が必要とされています。
Missing Entities from Summary 4:
・reinforcement learning's role in Gemini
・DeepMind's broader research (robotics to neuroscience)
・AI's potential malevolent uses
Summary 5 (~80 words): DeepMind's Gemini, harnessing AlphaGo's tree search and pivotal reinforcement learning, is set to rival GPT-4's ChatGPT. Unveiled at Google's summit, it reflects tech giant's AI ambition. With GPT-4's hefty price tag spotlighting AI's fiscal stakes, DeepMind-Brain's fusion heralds AI's next phase. AI safety, emphasized by Shane Legg's team, counters risks equated to nuclear perils. DeepMind's vast research, spanning robotics to neuroscience, challenges AI's latent malevolent uses, underscoring a nuanced advancement approach.（5文、71単語）
【日本語訳】
DeepMindのGeminiは、AlphaGoのツリーサーチと中心的な強化学習を活用し、GPT-4のChatGPTと競合することを目指しています。Googleのサミットで発表されたこの技術は、テクノロジー巨人のAIへの野心を反映しています。GPT-4の高額な価格がAIの財務的な賭けを浮き彫りにしている中、DeepMindとBrainの統合はAIの次の段階を告げています。Shane Leggのチームによって強調されるAIの安全性は、核の危険と同等とされるリスクに対抗しています。DeepMindの広範な研究は、ロボティクスから神経科学に至るまで、AIの潜在的な悪意ある使用に挑戦し、繊細な進歩のアプローチを強調しています。
どの要約も一長一短があり、どの要約が一番良いとは言いづらいです。
要約2と要約3はAIのリスク対策という重要なポイントが抜けているため、選ぶとすれば、要約4か要約5になりますが、どちらもあまり重要でない情報を詰め込み過ぎて、まとまりのない印象を与えます。
やはり、CoDを使用しない通常の要約が一番バランスよくまとまっているように感じます。
６．まとめ
Chain of Density（CoD）は、一定の長さの文章の中に沢山の情報を詰め込むことによって、要約の性能を向上させようとするものであり、確かに想定したとおりの機能を発揮しています。
最初の要約は、ChatGPTの通常の要約よりも情報密度が低く、段々と情報密度が高くなっていきますが、真ん中の3段階目当たりの要約が人間にとって最もバランスがよいと感じられるようです。
しかし、無理に情報を詰め込んで文章の繋がりが不自然になったり、強調する部分がズレてしまったりすることも多く、ChatGPTの通常の要約の方がバランスよく感じる場合も多いです。
CoDは、要約の文字数制限が厳しく、短い文章の中に沢山の情報を詰め込まないといけない場合などに使うとよいでしょう。
今回、論文に書かれているほどの成果が出なかったのは、論文の性能評価がニュース記事の要約のみを分析していることと関係があります。
事実を伝えるニュース記事の場合は、情報密度が高くなるほど要約の品質が向上する可能性が高くなりますが、論説文や解説記事の場合は、問題提起、主張、根拠などの文章構造を分析しないと、かえって論理がバラバラになってしまい、要約の品質が下がります。また、情報を詰め込むよりも、どの情報が重要かを正確に把握することがより強く求められます。
これらのことから、CoDは、解説的な記事では、十分な性能を発揮できなかったのだと思われます。
ちなみに、筆者は、かつて国語の入試問題を解くときに、決められた文字数の文章の中にできるだけ多くの情報を詰め込んで失点を避けるという戦法をよく使っており、体言止めや熟語を多用するところなどが似ていて、懐かしく感じられました。
この記事が気に入ったらサポートをしてみませんか？