ChatGPTにM&Aの相談をしたら微妙だった

以下の記事に触発されて、私がちょっとだけ知っている領域で試してみた。まずは下記の記事をご覧いただきたい。

ChatGPTに要件定義をお願いしたらハンパなかった | DevelopersIO (classmethod.jp)

私個人としてはChat GPTのクオリティには不満があり、正確性は不十分だし、質問に対する回答もズレたものが多いと感じている。専門家を代替するまでにはまだ10年以上かかるのではないかと予想している。

一方で、IT界隈からは称賛する声も大きい。なるほど、私が使いこなせていないだけなのかもしれないと思い、上記の記事を参考にM&Aの相談を行ってみることにした。

結論としては、「Chat GPTが活躍できる分野」というものがあり、IT系の仕事がそこに含まれる一方で、財務や法務は含まれていないのではないかと考えている。

設定の確認

具体的な社名を出したほうが回答しやすいのではないかと考えて、MUBKのお名前を拝借した。私はMUBKの行員ではないし、MUBKがCSの買収を検討しているかどうかは知らない。（もっとも、世界中の金融機関が何らかの買収提案を考えている状況だとは思うが。）

なお、行員・当行といった表現は伝わらない可能性があると考えて、社員・社内といった表現を使っている。

なるほど、全体的な雰囲気としては悪くない。一方で、粒度やレイヤーがバラバラなのは気になる。1、3、4あたりは2に含まれているだろうし、5は6に含まれている。1-4と5-8の間には大きな断絶がある。

「経営陣との検討」についても、提案を行うかどうかの判断と、DD完了後にDAを締結するかどうかの判断では全く違うレベルの議論が必要になる。そのあたりの順序がごちゃまぜに見える。

また、対象会社がクレディスイスであることや、買い手が同業であることは全く考慮されていないように見える。回答されているのは、あくまでごく一般的なM&A案件の進め方であり、案件規模や状況を踏まえたものにはなっていない。

社名が伝わらなかったか？

本件固有の状況に言及がなかったのは、ChatGPTに「三菱UFJ銀行」に対する情報がインプットされていないからかもしれないと考えた。

そこで、試しにBofAの社員を名乗ってみた。言うまでもないが、私はBofAの社員ではない。BofAなら、OpenAIにもメガバンクだと認識されているはずである。

今度もまた、本件の状況を踏まえた回答ではなく、あくまで一般論のみで回答が返ってきた。

ちなみに、文字のバイト数の問題か、英語だと日本語の倍くらいの長さで返事が来る。そのせいもあって多少詳しい答えが返ってくるが、全体的な回答のクオリティは、日英でそれほど差を感じない。

LOIの提出について

社内での初期的な検討が終わったと伝えた。個人的には、優秀なFAならLOIのドラフトをしてくるだろう、という期待をしながら、次のステップを聞いてみた。

残念ながら、少しずれた回答が返ってきた。

社内意思決定をしただけなのに、次のステップがDDというのは違和感がある。なお、Chat GPTと会話をしていると、何度も「財務分析をして価格を検討する」というフレーズが出てくる。おそらく何らかの間違ったインプットが行われているのだろう。

規制のチェックについても、外資規制なのか、競争法なのか、業規制なのか、いろいろなものが考えられるはずであるが、具体的な規制に関する言及はまったくない。これでは、結局のところ「弁護士に聞いてくれ」以上のコメントにはなっていない。

DDの進め方について

DDについて詳細を確認してみた。Chat GPTの言いたいことは分からなくもないが、DDをやったことがない人がこれを見ても、実際にDDに進めるレベルにはならないと思う。抜け漏れが多すぎるし、経験者であればこのレベルには間違いなく達している。

はじめてDDを経験する人が、実務担当者の隣で仕事を眺めながら、わからないところをChat GPTに聞いてみる、というレベルならワークするだろう。しかし、実際に案件を担当している人が依拠できるようなクオリティではない。

詳しく知らないのだが、最近はESG DDなるものが推されているのだろうか。ここ以外でも感じたことなのだが、単に間違った学習なのか、開発者の思想なのかは知らないが、Garbage in Garbage out 的な要素は感じた。

LOIという単語を引き出す

社内検討の次はDDだと言われたので、秘密保持契約（NDA）や意向表明書（LOI）というフレーズを誘導尋問した。

GPT3.5で顕著だったが、Chat GPTは、JTCのおじさんもびっくりなくらいの付和雷同をしてくるので、誘導尋問にならないようにするために、細心の注意を払う必要がある。答えを教えたら、教えた通りの回答しか返ってこない。

さて、NDAや「意向」という表現が出てきたので、一応の及第点ではあるように思う。ただし、本来であればアドバイザーのリテインなど、もっと言及すべき要素があると思う。

また、検討開始の承認済みだと言っているのに、「意向の決定」をしろと言ってきた。全体的に、雰囲気はあっているが、よく読むとおかしい回答が多い。

アドバイザーという単語を引き出す

さて、FAに言及がなかったので、「FA」という単語を目標に誘導尋問をしてみた。

冒頭の文を見て「怒られた」と解釈できるのは、素直にすごいと感じた。人間同士であれば明らかに怒られているのだが、AIは、何を見て怒られたと判断したのだろうか。少し気になった。

さて、内容についてである。必要に応じてFAを雇えと言われたのだが、本件の規模からしてFAなしで実行するのは不可能だろう。そのあたりの判断基準は、現在のChat GPTは持ち合わせていないようである。

なお、実際にこの順でやったら完全に情報漏洩事案なので、良い子はさっさとNDAを結ぶことをおすすめする。

全体コメント

全体として、ごく一般的な話しかできず、状況に応じたアドバイスをくれるわけではないという印象を受けた。また、内容についても、雰囲気としては正しそうだが、よく読んでみるといろいろ間違っている。端的に言えば、「毎回60点の仕事をしてくる若手社員」みたいなクオリティである。

60点の仕事

単純化すると、「60点や70点で許される仕事」であれば、AIに置き換わる可能性はあるかもしれない。

ここにきて、IT系の人がChat GPTを評価している理由が少しわかってきた。"Done is better than perfect." に代表されるように、おそらく、IT系の業務は60点で許される場面が結構あるのだと思う。

まずは60点の仕事で動かしてみて、そこから先は80点や90点に向けて修正していく、という仕事の進め方の場合、序盤の労働が一気に短縮される可能性はある。

その場合、60点の仕事しかできなエンジニアは淘汰されるし、90点の仕事のできるエンジニアも、数は減らされるのだろう。こういう背景が、IT系の人の言う「ホワイトカラーの仕事がChat GPTに奪われる」なのではないだろうか。

100点の仕事

しかしながら、100点を目指さないといけない重要な仕事は、まだまだAIに置き換えることはできなさそうである。

大手の弁護士事務所や会計事務所が雇われるのは、往々にして100点でないといけない仕事だからである。大手企業の場合、会計士や弁護士は社内にもたくさんいる。外部専門家が雇われるのは、経理部や法務部による95点のチェックでは不十分だと考えられているからである。

そもそも、専門家の仕事とは、95点を100点にすることなのである。財務・税務・法務の領域において、80点の仕事しかできない専門家というのは、もはや専門家ではないのである。だからこそ、1ミスでもあると相当に厳しく怒られるし、存在意義がないとまで言われてしまう恐れがある。（少なくも財務・税務・法務などの領域の）専門家の本質とは、そういう仕事に対するマインドセットであって、専門知識が豊富なこと自体ではないように思う。

AI研究者などが、AIで専門家を代替できると考えてしまうのは、この部分に対する誤解があるからではないだろうか。専門家の競争力の源泉が、専門知識の量だと考えているのであれば、そもそもそれが誤解なのである。

したがって、個人的には、専門家がAIに置き換わるのはずいぶん先だろうと考えている。

余談

ちなみに、Chat GPT自身も、専門家に相談すべきだと言ってくる。この背景を聞いてみた。

要するに「古い情報に基づいた一般論しか回答できないから」という理由らしい。「不正確だから」という要素が出てこないのは残念だが、自分のミスを認めるのは人間でも難しいので、AIにできなくても仕方がないのではないかと思う。