本当に使えるChatGPTプラグインはどれなのか？
5月12日、OpenAIがすべてのChatGPT PlusユーザーにプラグインとWebブラウジング機能を提供開始すると発表し、筆者も5月16日からプラグインの利用が可能になりました。
そこで、早速、どのプラグインが本当に使えるのかを試してみましたので、その結果を報告したいと思います。
１．プラグインの利用方法
プラグイン又はWebブラウジング機能が利用可能になれば、ChatGPT画面左下のユーザー名をクリックして「Settings」を開くと、「Beta features」という項目が現れます。そして、「Beta features」を開いて「Plugins」を有効にすると、プラグインを利用できるようになります。
次に、New chatを開くと、画面上部に以下のような表示がありますので、初期状態で「No plugins enabled」と表示されているところをクリックして、「Plugin store」からプラグインを追加します。
「Plugin store」には、5月17日現在、73個のプラグインが掲載されており、この中から必要なものを選んでインストールします。プラグインは、同時に3個まで使用することができ、New chatに切り替えるごとに設定することになります。
２．食べログ
食べログは、現在、ChatGPTのプラグインに入っている唯一の日本製プラグインです。
次のように自然な言葉で依頼して、条件に合うレストランを探してもらうことができます。
(1) 条件に合うレストランの検索
今回は、「横浜、イタリアン、夜景」の３つのキーワードで検索したようで、「予算1人1万円以下」という条件が反映されておらず、1軒目は予算が1人1万円を超えそうです。
総合評価、エリア、ジャンル、予約可能時間が表示され、店名をクリックすると、食べログサイトの店の詳細情報のページが開きます。
(2) プラグインの動作
また、「Used Tabelog」と書かれているところをクリックすると、プラグインが具体的にどのように動作しているのか見ることができます。
(3) まとめ
レストランの予約だけが目的であれば、最初から食べログの専用サイトやアプリを使用した方が便利なので、Expediaなどと組み合わせ、ChatGPTに旅行の日程表を作成してもらう中でレストランも紹介するといった使い方が予想されます。
３．Expedia
Expediaは、ホテルの予約や航空券の手配ができる旅行支援プラグインです。以下のように京都観光の旅行プランの作成を試してみました。
フライトについては、ガーナのアクラ空港行きのおかしな情報を紹介してきました。
そうでなくても、基本的に日本国内のフライトや鉄道には対応していないようです。
また、ホテルについても、大阪のホテルを紹介してきたり、まだまだ当てにならないところがあります。
４．WebPilot
WebPilotは、Webサイトを検索して、記載内容を要約したり、記載内容を基に質問に回答したりすることができるプラグインです。
(1) 日本語記事の要約と質問応答
【記事】バドミントンの新技「スピンサーブ」があまりにも強すぎて国際トーナメントで暫定的に使用禁止、一体どんな魔球なのか？ - GIGAZINE
記事の内容を正確に要約できており、質問に対する回答も正しいです。
(2) 英語記事の要約
【記事】Updating our inactive account policies (blog.google)
英語の記事でも、問題なく日本語で要約してくれるようです。
(3) 最近の出来事に関する質問
次に、大谷翔平選手が活躍した2023 World Baseball Classicについて聞いてみました。
優勝国は日本のはずであり、回答は誤りです。URLを示さないと、正確に検索できない場合があるのかもしれません。
(4) 明日の天気予報
Yahoo!天気でも、最高気温32度、最低気温17度で、晴れとなっていましたので、大体合っていると思います。
プラグインの動作内容を見ると、BBCの天気予報サイトを参照しているようです。
(5) まとめ
日本語の記事でも英語の記事でも要約できますが、URLを示さない場合は、正しい検索ができるのか不安が残ります。
５．AskYourPDF
AskYourPDFは、PDFファイルを読み込んで、その内容を要約したり、質問に回答したりすることができるプラグインです。
(1) 論文PDFの要約と質問応答
arXivに掲載されているLLaMAの論文PDF（英文）を要約してもらいました。
いきなり最初の段落のLLaMAの説明が間違えています。正確には、LLaMAはMeta社が開発した大規模な基礎言語モデルです。
最初に書かれている新しいベンチマークは、AIモデルの真実性を評価するために用いられたベンチマークのTruthfulQAのことで、これとLLaMAの内容を取り違えてしまったようです。
一方で、第3段落のヤン・ルカン氏がラップアルバムをリリースしたというエピソードはさすがに嘘だろうと思ったら、本当にLLaMAの出力例（フィクションだと思いますが）として論文に掲載されていました。
今回、論文の要約には失敗していますが、ChatGPTが論文PDFの記載内容を読んでいることは確認できました。
次に、論文PDFの記載内容について質問してみました。
LLaMA-65BがBoolQを除くすべてのベンチマークでPaLM-540Bを上回っている（実際には、WinoGrandeでもPaLMがLLaMAを上回っている。）など、細かいミスはありますが、ほとんどの内容が正しいです。
(2) 日本語のPDF資料の説明
今月11日に開催されたAI戦略会議の資料(PDF)について聞いてみました。
記載内容は合っていますが、AskYourPDFは要約があまり上手くないようです。資料の論点は、AIの利用、懸念・リスク、AIの開発の3点で、２.と３.は参考資料にすぎません。
英語の論文の場合もそうでしたが、どこに重要な内容が書かれているかは判断できないようです。
(3) 論文要約の改善
以下のように、出力の構成要素を指定することによって、要約の内容を改善することができます。まだ同じ内容の重複や日本語のおかしいところなどが少し残っていますが、上記(1) の要約と比べれば、相当改善しています。
(4) まとめ
AskYourPDFは、URLが「.pdf」で終わるPDFファイルであれば、日本語でも英語でも記載内容を要約したり、質問に回答したりすることができます。
「.pdf」で終わらない場合は、以下のように手動でPDFファイルをアップロードする必要があります。
AskYourPDFはPDFファイルを読み込むことはできますが、要約性能は高くないので、内容を鵜呑みにしないように気を付けましょう。
なお、要約する場合に、出力の構成要素を指定すれば、要約の内容が改善します。
６．Show Me
Show Meは、ChatGPT上で図表を描いてくれるプラグインです。
(1) アルゴリズムの図解
この図は、Mermaid Live Editorというエディターを使ってオンラインで編集することもできます。
(2) 手順の説明
(3) 家系図の作成
このように様々なフローチャートや解説図などを作成できるので、重宝しそうです。
７．Wolfram
Wolframは、高度な数学計算、科学的データの提供、グラフの描画などができる多機能なプラグインです。ChatGPTに、このプラグインで何ができるか聞いてみました。
(1) 過去の出来事や記録の検索
Wolframは、過去の出来事や記録に関する正確なデータを持っており、それらの情報を検索してChatGPTの回答に反映することができます。
(2) クイズの作成
Wolframの持っている科学的な情報や記録データに関するクイズを作成することができます。
3.a) ヱヴァンゲリヲン新劇場版:Q
(3) グラフの描画
内部を塗りつぶしてくれませんでしたが、きれいなハート型のグラフができました。
あまりピカチュウに見えませんが、これがピカチュウ曲線だそうです。
(4) 人体の器官の3D画像の作成
人体の器官を3D画像で描いてくれます。
(5) 地理に関する質問
都市間の距離を聞くと、最短距離ルートを示す地図を書いてくれます。
国名が重なってしまいましたが、簡単にグラフも描いてくれます。
(6) 数学の問題
① 計算問題
最初に従来のChatGPTが解けなかった三角関数の計算問題を解いてもらいます。
問題なく解けています。
次も、従来のChatGPTが解けなかった分数関数の微分の問題です。
途中式がありませんが、問題なく解けています。
次に、やはり従来のChatGPTが解けなかった三角関数の積分の問題を解いてもらいます。
答えは間違いではありませんが、{(cos(x))^3}/3-cos(x)+Cという簡単な形に直して回答してもらいたかったです。
② 応用問題
最初に鶴亀算を解いてもらいます。この問題は、従来のChatGPTでも解けています。
正解です。
次に、三角関数と図形の問題を解いてもらいます。この問題は、ヒントを与えるとChatGPTでも正解することができます。
(7) 物理の問題
斜方投射の問題を解いてもらいました。
正解です。説明が長すぎますが、特に間違ったところはありません。
(8) データ分析
実際の利用を考えた場合、Wolframはデータ分析でこそ、その能力を発揮すると思います。
① 国の経済力とインターネット普及率の相関関係
取得したデータのインターネットユーザー数の単位がおかしい(ドイツ、イギリス、フランス、イタリア、カナダの人数が10倍になっている。)ですが、グラフ(散布図)の数値は合っていると思います。
相関係数は0.53351で、非先進国の中国、インド、ブラジルを除けば、点がほぼ一直線上に並んでおり、相関関係の強さを示しています。
② 惑星の太陽からの距離と公転周期の相関関係
残念ながら、水星以外の表示がなく、グラフの描画に失敗しています。
８．まとめ
ほかにも、5000以上のアプリを連携できるZapierなどのプラグインを試してみました。
Zapierでは、ChatGPTで生成した文章をメールで自動送信することなどができます。筆者もやってみましたが、メールアドレスを別に作らないと、自分の普段使っているアドレスをAIに操作させるのは怖いなと感じました。
ChatGPTには70以上もプラグインがありますが、日本での利用に対応していないものも多く、それほど使えるものは多くないと感じました。
現時点で、実際に使えると感じたプラグインは以下の4つです。
WebPilot：ネット記事の要約、文書生成の際のネット情報の利用
AskYourPDF：arXivの論文PDFの要約
Show Me：フローチャートや解説図の作成
Wolfram：科学データの活用、データ分析
食べログとExpediaは、今のところは専用サイトの方が使い勝手がよいと感じています。
今後は、日本での利用に対応したプラグインも次々と開発されて増えてくると思いますので、それらに期待しています。