BingAIの書いたレポートで最高評価が取れた話

こんにちはシンギュラ大樂生です。今回はBingのAIについて話したいと思います。

BingのAIを使う

私は大学のレポートなどでいい評定を取るために、ChatGPTをリリース当初から利用してきました。そして、1月ごろからBingがChatGPTよりも高い精度で文章を生成すると話題になりましたので、試しにレポート課題の一部をBingに生成させてみました。お題は以下のとおりです。

ある競技のプロ選手は平均 178.4cm という情報がある。
その競技の日本代表チームの20 人の平均身長を計算してみると平均 175.6cm であった。太郎さんは、プロ選手全体の平均身長の方が代表選手の平均身長より明らかに高いと主張した。花子さんは、この差は誤差にすぎないのではないかと太郎さんに言った。そこで太郎さんは、有意水準 5%の検定を行うことにした。検定においては、代表選手の平均身長が 178.4cm という帰無仮説を立てて、母集団分布を正規分布と仮定した。母集団分布の分散は分からないため、太郎さんが計算した標本分散値 42.7 を使用することにした。この検定の結果、太郎さんは、代表選手の平均身長が 178.4cm であるという帰無仮説を棄却したか、それとも仮説は棄却されなかったか、検定の詳細を示した上で説明しなさい。この際、標準正規分布の両側 5%点 z∗= 1.96 または自由度 19 の t 分布の両側 5%点 t∗19 = 2.09 の情報を必要に応じて適宜使用してよい。

BingAIの回答

1. 帰無仮説と対立仮説を設定する。帰無仮説は、代表選手の平均身長がプ
   ロ選手全体の平均身長と等しいというものである。対立仮説は、代表選
   手の平均身長がプロ選手全体の平均身長と異なるというものである。す
   なわち、 帰無仮説 H0: μ = 178.4 対立仮説 H1: μ ≠ 178.4 となる。
   ここで、μ は代表選手の平均身長を表す。

2. 検定統計量を計算する。検定統計量は、代表選手の平均身長とプロ選手
   全体の平均身長の差を標準誤差で割ったものである。標準誤差は、標本
   分散を標本サイズで割って平方根をとったものである。すなわち、 t =
   (175.6 - 178.4) / √(42.7 / 20) = -1.916 となる。ここで、t は検定統計
   量を表す。

3. 有意水準と棄却域を決める。有意水準は、帰無仮説が正しいのに棄却し
   てしまう確率の上限である。棄却域は、検定統計量が帰無仮説を棄却す
   るためにとるべき値の範囲である。対立仮説が両側検定であることか
   ら、棄却域は検定統計量の絶対値がある値より大きい場合となる。母集
   団分布の分散が分からないため、t 分布を用いることにする。すなわ
   ち、 棄却域は |t| > 2.09 となる。ここで、2.09 は題意で示された自由
   度 19 の t 分布の両側 5%点である。

4. 検定統計量と棄却域を比較して結論を出す。検定統計量の絶対値が
   1.916 であり、これは棄却域に入らない。したがって、帰無仮説を棄却
   することはできない。つまり、代表選手の平均身長がプロ選手全体の平
   均身長と有意に異なるとは言えない。この結果は、太郎さんの予想とは
   反するものである。

AIが唯一間違えていたこと

AIの出力した文章は統計学的に正しい出力でした。しかし、唯一間違えていたのは計算でした。

t =(175.6 - 178.4) / √(42.7 / 20) = -1.916

以上の計算を間違えていたため、手直しし、レポートを提出しました。

そして評価は最高評価のSでした。

BingはやはりChatGPTとは別格

以前ChatGPTでレポートを書かせる方法という記事を書きましたが、やはりBingは検索結果などを参照しているため、より正確な出力が得られる傾向にあります。
気になる人はぜひBingチャットの順番に並んで使ってみてください。