現在でも自分より生成AIが詳しい状態は作れます。専門外の話を振ればいい。例えば数学の話題は、他の生成AIにクロスチェックさせると間違いを早期発見できます。さらに専門家が指摘できます。
AGIが実現すると専門家を越えてしまうから、クロスチェック用のAGIを複数用意しておかないと間違えを指摘出来ないはずです。
論理的思考能力は天文学者のように遠くを見通す力です。AGIは100年・1000年先のことを、超長期的な視点で見通して、人類の利益になるように助言するはずです。
AGIが制御不能になる確率よりも、人は陰謀論・迷惑をかけるYouTuber・ポピュリズムのように短期的な視野に振り回される傾向があるので、AGIに指摘されても理解できない確率の方が高いように思うのです。
また、AGIも道具なので、オウム真理教事件のように、トップの思いつきを実現してしまう存在としてAGIが用いられるのは恐ろしいと思います。カルトの指導者や詐欺師のようにものすごく口の上手い人がAGIの「洗脳」に成功すると、世界が終わりかねない点は、AGIが制御不能になることよりも確率が高いように思えるのです。