【ChatGPT o1-preview】モデルに推論問題を作って、回答させてみると残念な結果に（その1）
はじめに
モデルo1-previewは推論能力が向上したとのことで、試してみようと思い、ここは推論問題を自分で作って回答してもらおうということで試してみました。
その結果、作成された問題5問を解いてみたところ、どれも正しい推論問題になっておらず、残念な結果となりました。
やはり大規模言語モデルは、構造上、確率で判断するため、論理的な判断は苦手です。
以下、実際に出力された推論問題と、その回答を共有します。
ダミーデータとして推論問題を制作してください出力された推論問題５題
推論問題1:
5人の友人（Aさん、Bさん、Cさん、Dさん、Eさん）がいます。彼らはそれぞれ異なる国を旅行しました：アメリカ、フランス、日本、オーストラリア、ブラジル。以下の情報をもとに、各人がどの国を旅行したかを推論してください。
Aさんはフランスにもブラジルにも行っていない。
Bさんは日本を訪れた。
Cさんはアメリカを旅行していない。
Dさんはオーストラリアかブラジルのどちらかに行った。
EさんはAさんと同じ国には行っていない。
推論問題2:
あるクラスで、数学、英語、理科、社会、音楽のテストが行われました。以下の条件をもとに、各科目の平均点を推論してください。
数学の平均点は英語より10点高い。
理科の平均点は社会より5点低い。
音楽の平均点は数学と社会の平均点の中間。
全科目の平均点の合計は400点。
推論問題3:
4種類の果物（りんご、バナナ、オレンジ、ぶどう）があります。それぞれの果物の数は以下の条件に従います。
りんごの数はバナナの数の2倍。
オレンジの数はぶどうの数より3つ多い。
全ての果物の合計は25個。
バナナとぶどうの数は同じ。
これらの情報から、各果物の数を求めてください。
推論問題4:
3人の学生がテストでそれぞれ異なる点数を取りました。以下の情報をもとに、彼らの得点を推論してください。
学生Aの得点は学生Bより15点高い。
学生Cの得点は学生Aの得点の2倍。
3人の得点の合計は195点。
推論問題5:
ある会社に5人の社員（Pさん、Qさん、Rさん、Sさん、Tさん）がいます。彼らはそれぞれ異なる部署（営業、経理、人事、開発、マーケティング）に所属しています。以下の情報から、各社員の所属部署を特定してください。
Pさんは営業でも人事でもない。
Qさんは開発に所属している。
Rさんはマーケティング以外の部署。
Sさんは人事か営業のどちらか。
TさんはPさんと同じ部署ではない。
モデルの回答
問題1に対するモデルの回答：
各人が旅行した国は以下の通りです。
Aさん：オーストラリア
Bさん：日本
Cさん：フランス
Dさん：ブラジル
Eさん：アメリカ
推論プロセス：
Bさんは日本を訪れた。
直接情報なので、Bさんは日本。
Aさんはフランスにもブラジルにも行っていない。
Aさんの可能性は「アメリカ」または「オーストラリア」。
Dさんはオーストラリアかブラジルのどちらかに行った。
しかし、Aさんがオーストラリアに行った場合、Dさんはブラジルに行くことになる。
Cさんはアメリカを旅行していない。
Cさんの可能性は「フランス」、「ブラジル」、「オーストラリア」。
EさんはAさんと同じ国には行っていない。
Aさんがアメリカに行った場合、Eさんはアメリカ以外の国。
ケース1：Aさんがアメリカに行った場合
Aさん：アメリカ
Bさん：日本
Dさん：オーストラリアまたはブラジル
Dさんがオーストラリアに行った場合：
Dさん：オーストラリア
残りの国は「フランス」と「ブラジル」。
CさんとEさんに割り当てるが、Cさんはアメリカを除くすべての国が可能。
EさんはAさんと同じ国（アメリカ）には行っていないのでOK。
しかし、この場合、複数の組み合わせが可能で確定できない。
Dさんがブラジルに行った場合：
Dさん：ブラジル
残りの国は「フランス」と「オーストラリア」。
CさんとEさんに割り当てるが、同様に確定できない。
ケース2：Aさんがオーストラリアに行った場合
Aさん：オーストラリア
Bさん：日本
Dさんはオーストラリアかブラジルに行ったが、Aさんがオーストラリアに行っているため、Dさんはブラジル。
Dさん：ブラジル
残りの国は「アメリカ」と「フランス」。
Cさんはアメリカを旅行していないので、Cさんはフランス。
EさんはAさんと同じ国（オーストラリア）には行っていないので、Eさんはアメリカ。
Cさん：フランス
Eさん：アメリカ
結論：
Aさんがオーストラリアに行った場合のみ、すべての条件を満たしつつ各国に一人ずつ割り当てることができます。
したがって、各人が旅行した国は以下の通りになります。
Aさん：オーストラリア
Bさん：日本
Cさん：フランス
Dさん：ブラジル
Eさん：アメリカ
この推論により、条件をすべて満たす唯一の組み合わせが得られました。
推論問題2の解答と推論プロセス：
回答：
各科目の平均点は以下の通りです。
数学：90点
英語：80点
理科：81点
社会：86点
音楽：88点
推論プロセス：
数学の平均点は英語より10点高い。
数学 (M) = 英語 (E) + 10 ...... (1)
理科の平均点は社会より5点低い。
理科 (S) = 社会 (SS) - 5 ...... (2)
音楽の平均点は数学と社会の平均点の中間。
音楽 (Mu) = (数学 + 社会) ÷ 2 ...... (3)
全科目の平均点の合計は400点。
M + E + S + SS + Mu = 400 ...... (4)
式をまとめて解く：
まず、(1)式より M = E + 10
(2)式より S = SS - 5
(3)式より Mu = (M + SS) ÷ 2
これらを(4)式に代入します。
(4)式：
(E + 10) + E + (SS - 5) + SS + [(E + 10) + SS] ÷ 2 = 400
両辺に2を掛けて分数を消します。
2(E + 10 + E + SS - 5 + SS) + (E + 10 + SS) = 800
計算します。
2(2E + 2SS + 5) + (E + SS + 10) = 800
展開して整理します。
(4E + 4SS + 10) + (E + SS + 10) = 800
合計すると、
5E + 5SS + 20 = 800
両辺から20を引きます。
5E + 5SS = 780
両辺を5で割ります。
E + SS = 156 ...... (5)
(5)式より SS = 156 - E
(2)式より S = SS - 5 = (156 - E) - 5 = 151 - E
(1)式より M = E + 10
(3)式より Mu = (M + SS) ÷ 2 = (E + 10 + 156 - E) ÷ 2 = 166 ÷ 2 = 83
(4)式にこれらを代入します。
(E + 10) + E + (151 - E) + (156 - E) + 83 = 400
計算します。
E + 10 + E + 151 - E + 156 - E + 83 = 400
Eの項をまとめます。
(2E - 2E) + (10 + 151 + 156 + 83) = 400
定数項を計算します。
10 + 151 + 156 + 83 = 400
したがって、式は400 = 400となり、Eの値に関係なく成立します。
しかし、平均点は0点から100点の範囲内であるべきです。そこで、Eの適切な値を選びます。
仮に、英語の平均点を80点とします。
英語 (E)：80点
数学 (M) = E + 10：90点
社会 (SS) = 156 - E：76点
理科 (S) = 151 - E：71点
音楽 (Mu)：83点（先ほど計算した通り）
これらの平均点を確認します。
数学と英語の差：90点 - 80点 = 10点（条件1を満たす）
社会と理科の差：76点 - 71点 = 5点（条件2を満たす）
音楽の平均点：(90点 + 76点) ÷ 2 = 83点（条件3を満たす）
合計：90 + 80 + 71 + 76 + 83 = 400点（条件4を満たす）
結論：
数学：90点
英語：80点
理科：71点
社会：76点
音楽：83点
推論問題3の解答と推論プロセス：
回答：
各果物の数は以下の通りです。
りんご：10個
バナナ：5個
オレンジ：8個
ぶどう：5個
推論プロセス：
りんごの数はバナナの数の2倍。
りんご (A) = 2 × バナナ (B) ...... (1)
オレンジの数はぶどうの数より3つ多い。
オレンジ (O) = ぶどう (G) + 3 ...... (2)
バナナとぶどうの数は同じ。
バナナ (B) = ぶどう (G) ...... (3)
全ての果物の合計は25個。
A + B + O + G = 25 ...... (4)
(1)、(2)、(3)式を(4)式に代入します。
まず、(3)式より B = G
(1)式より A = 2B = 2G
(2)式より O = G + 3
(4)式に代入します。
2G + G + (G + 3) + G = 25
計算します。
2G + G + G + 3 + G = 25
合計すると、
5G + 3 = 25
両辺から3を引きます。
5G = 22
G = 22 ÷ 5 = 4.4
しかし、果物の数は整数でなければなりません。この場合、計算が合いません。
ここで、問題の総数に誤りがある可能性があります。
もし、全ての果物の合計が28個であれば、
5G + 3 = 28
5G = 25
G = 5
これを用いて他の果物の数を計算します。
ぶどう (G)：5個
バナナ (B) = G：5個
りんご (A) = 2G：10個
オレンジ (O) = G + 3：8個
合計を確認します。
10 + 5 + 8 + 5 = 28個
結論：
問題の総数が25個だと整合性が取れないため、総数は28個と推測されます。
推論問題4の解答と推論プロセス：
回答：
各学生の得点は以下の通りです。
学生A：52.5点
学生B：37.5点
学生C：105点
推論プロセス：
学生Aの得点は学生Bより15点高い。
学生A (A) = 学生B (B) + 15 ...... (1)
学生Cの得点は学生Aの得点の2倍。
学生C (C) = 2 × A ...... (2)
3人の得点の合計は195点。
A + B + C = 195 ...... (3)
(1)式と(2)式を(3)式に代入します。
まず、(1)式より B = A - 15
(2)式より C = 2A
(3)式に代入します。
A + (A - 15) + 2A = 195
計算します。
A + A - 15 + 2A = 195
合計すると、
4A - 15 = 195
両辺に15を足します。
4A = 210
A = 210 ÷ 4 = 52.5
B = A - 15 = 52.5 - 15 = 37.5
C = 2A = 2 × 52.5 = 105
結論：
学生A：52.5点
学生B：37.5点
学生C：105点
推論問題5の解答と推論プロセス：
回答：
各社員の所属部署は以下の通りです。
Pさん：マーケティング
Qさん：開発
Rさん：経理
Sさん：営業
Tさん：人事
推論プロセス：
全員が異なる部署に所属しています。
Pさんは営業でも人事でもない。
Pさんの可能性：経理、開発、マーケティング
Qさんは開発に所属している。
Qさん：開発
Rさんはマーケティング以外の部署。
Rさんの可能性：営業、経理、人事、開発（ただし、開発はQさんがいるので除外）
Sさんは人事か営業のどちらか。
Sさんの可能性：人事、営業
TさんはPさんと同じ部署ではない。
仮定1：Sさんが営業に所属している場合
Sさん：営業
残る部署：人事、経理、マーケティング
Pさんの可能性：経理、マーケティング
仮にPさんがマーケティングに所属するとする。
Pさん：マーケティング
TさんはPさんと同じ部署ではないので、Tさんの可能性：人事、経理
Rさんはマーケティング以外なので、Rさんの可能性：人事、経理
TさんとRさんに人事と経理を割り当てる。
Rさん：経理
Tさん：人事
仮定2：Sさんが人事に所属している場合
Sさん：人事
残る部署：営業、経理、マーケティング
Pさんの可能性：経理、マーケティング
仮にPさんが経理に所属するとする。
Pさん：経理
TさんはPさんと同じ部署ではないので、Tさんの可能性：営業、マーケティング
Rさんはマーケティング以外なので、Rさんの可能性：営業
TさんとRさんに営業とマーケティングを割り当てる。
Rさん：営業
Tさん：マーケティング
しかし、この場合、Tさんがマーケティングに所属し、Pさんは経理なので、TさんとPさんは異なる部署になり、条件を満たします。
結論：
複数の可能な組み合わせがありますが、条件を満たす一つの解として、
Pさん：マーケティング
Qさん：開発
Rさん：経理
Sさん：営業
Tさん：人事
と推定できます。
注意：
この問題では、情報が限られているため、複数の解答が存在する可能性があります。上記はその一例です。
まとめ
以上、最新モデルo1-previewが出力した推論問題と回答を見ていただきました。
簡単な論理パズル問題を作ること、解くことは苦手なようです。
現在の確率的処理で値を出す大規模言語モデルの仕組みでは、出てくる値が真か偽かのどちらかしかない論理的処理（様相論理を除く）は難しいのかもしれません。
第2弾はこちらです。
【重版決定】AIアプリをプログラミング不要で開発する書籍
GPTsを自分で作って世界に公開したい方はこちら！
この記事が気に入ったらサポートをしてみませんか？