PDFを読み込む各種方法の比較 ChatGPTで効率よく勉強会資料作成
0. はじめに
ChatGPTにPDFを読み込ませて内容を要約してもらう, 論文など高度な文章を作成するなど色々な応用が模索されています。AIの進化は凄まじくPDF読み込ませるプラグインなど日々新たなツールがリリースされています。今回その中でもChatGPTを使ったPDF活用術, 読み込ませる方法の比較など行いたいと思います。今回も例にもれず前置きが長いので時間がない人は 4. まとめ だけでもどうぞ。
方法として非常に多くの方法がありますが個人的に便利と思う方法を紹介したいと思います。テーマとしてはGPT4以外に課金しないで出来る限り無料, また出来るだけ他のソフトのインストールが不要で操作が簡単, 敷居が低いものを優先的に紹介します。
PDFファイルをChatGPTに読み込ませる方法
① 自分のPC内にある手持ちのPDF (論文や教科書) をプラグインを用いて読み込ませる。
② インターネット上にあるPDFファイルをプラグインを用いて読み込ませる。
③ 手持ちのPDFをインターネットにアップロード (例えばGoogle Drive) してプラグインから読み込ませる。
④ Advanced Data Analysis ADA (高度なデータ分析, 旧 Code Interpreter) からPDFを読み込ませるなどです。
今回は①の手持ちのPDFファイルの読み出しを主に検証します。勉強会の資料作成などで利用する局面を想定します。具体的には自分が持っているPDFファイル, 英語論文や日本語文献, 専門書などを読み込みたいときに使うべきツールなどです。まずは実用例を紹介し, その後, 各種ツールのレビュー的なものをまとめたいと思います。その後, 時間があれば勉強会資料の作成など応用例を紹介します。
1. PDFファイル, リンク先の準備
性能を比較するために世の中に存在している多種多用のPDFを想定する必要があります。サイズが大きいもの (数百MBメガバイト, ページ数が多い) から小さいもの(数百KBキロバイト, ページ数が少ない) まで, 作成方法 (作成アプリケーション, エンコード方法) が不明なものまで。
① 以前ワードで作成した架空患者成人スティル病の『退院サマリー』をWord内でPDF化したものです。一番シンプルな作成方法ですのでエンコードに伴う認識エラーなど無いはずです。このファイルが読めないツールはまずいです。
② 特許のデータベース (j-platpat) から適当にダウンロードしたPDFファイルです。作成者がどのようにつくったかが不明ですので読めない可能性高そうです。以下のサイトから
今回は『N型有機トランジスタ』の特許をダウンロードしてPDFとして保存しました。
③ PubMedからフリーの論文PDFファイルをダウンロードしました。論文をChatGPTに要約させたり, 論文を参考にレポートを作成する機会が今後増えそうです。今回は『肺吸虫症』の症例報告PDFをダウンロードしました。
④ 教科書, 専門書を想定しドキュメントスキャナーで紙媒体の専門書をスキャンしOCR (光学文字認識) でPDFファイルとして保存しました。『医療コミュニケーション』の専門書となります。Ask YourPDFで読めるサイズ (76.8MB)
以上が手持ちのPDFファイルの準備です。以下がWebページにあるPDFファイル, Webに手持ちのファイルをアップロード (GoogleDrive) してリンク先を準備する方法です。
⑤ PubMedで読みたい論文ファイルを探しPDFリンク (httpからはじまるアドレスです) をコピーし後で使用します。
⑥ J-PlatPatの読みたい特許のURLをコピーします。
⑦ 手持ちのPDFファイルのURLを作成します。方法はいろいろありますが今回はGoogle Driveに手持ちのPDFをアップロードしリンクを作成します。
新規→PDFアップロード
共有→アクセス→リンクを知っている人全員→リンクをコピー
https://drive ■■■■ ～drive link
のような dirive link が末尾のリンクをChatGPTのChat欄に張り付けます
2. 短文～標準サイズのPDFの読み取り
では実際に使い勝手を見ていきます。星 (実用度, おすすめ度) は個人的な主観となっています。
★★★ おすすめです。
★★☆
★☆☆
☆☆☆ いまいちです。
どのようなPluginがあるのかPluginpediaというプラグインに聞いてみます。
自分のPC内にあるPDF文書を要約するためのPluginsを紹介してください。使い方, リンク先とともにいくつかのプラグインを紹介してくれました。
2.1 Ask YourPDF (Plugin) ★★☆
有料プラグイン, ChatGPT plusに加入している (＄20/月) 方向けです。
プラグインストア (Plugin store) からAskYourPDFを選びインストール (Install) します。専用のサイト (↓) からリンクIDを作成する必要があることがやや面倒です。
中央の四角に手持ちのPDFをドラッグ＆ドロップしてしばらく待ちます。
特許のホームページからダウンロードしてきたPDFを読んでみます。
ID (青で囲まれた結構な桁の英数字) が出来上がりましたらリンク (上の赤で囲まれた□が二つ重なったマーク) を押すとコピーされます。GPTのChat欄にペーストして要約するようにプロンプトします。
無料版では1日3ファイルまで, 1ファイル100ページ, 1ファイル当たりのサイズは15MBまでです。明確な文字数の上限は無かったと思います。
使い方です。ChatGPTでプラグインを有効にします。
Google Driveのリンク先からも読み込ませることができますが前述の専用サイトからリンクidを作成する方が安定性, 精度が高いです。
2.1.1 短めのファイルの読み込み
英語論文 (1MB 4ページ 2562文字) を日本語要約します。
7f0ce935-43a6-4f13-940b-847■■■■■■
上の文献 (Paragonimus westermani infection mimicking recurrent lung cancer)
全体を参照し要約してください。
基本性能はChatGPT4に依存しますので, 読み取る文字数の上限は約4000トークン (2500文字程度) で, 要約性能などは非常に高いです。医学的, 専門的な質問の解答もしてくれます。
肺吸虫症の診断の難しさ, 肺癌との類似点 鑑別するにあたり注意すべき点
重要な検査, 問診など教えてください。
2.1.2 長めのファイルの読み込み
次は少し長め日本語の論文 (582 KB 5ページ 5841文字) を読んでもらいます。
a28676cc-4327-4684-a7e3-1de■■■■■■
Ask YourPDFで上の文献(在日タイ人女性に集団感染したウエステルマン肺吸虫症の4例)
全体を参照し要約してください。また 何ページ, 何文字, サイズ(何MB)はどれくらいですか。
一見, 素晴らしい要約ですが..文章全体の要約ではなく序盤を要約したものです。またファイル情報 (ページ, 文字数, サイズ) は誤りがありました。
『2ページ目以降』の『考察』を要約して下さいと頼んでもできませんでした。
2.2 Link Reader (Plugin) ★★☆
本来の使い方はPDFだけでなく一般的なWebページ全体を読むプラグインです。
2.2.1 短めのファイルの読み込み
以下はGoogleドライブに肺吸虫症の論文をアップロードしリンクをChatGPTのChat欄に貼り付けたものです。
https://drive.google.com/file/d/1N1duu0Tl■■■■■■/view?usp=drive_link
Link Readerで上の文献(Paragonimus westermani infection mimicking recurrent lung cancer)
全体を参照し要約してください。https:// ■■■■ ～drive linkのような dirive_link が末尾のリンクを張り付けます。まずは短めの英語論文です。2500単語全体をザックリと要約してくれました。
しかし, Pubmedのリンクは読めませんでした。リンク先のPDFを直接読み込む成功率はやや低めです。
Pubmedなど"robots.txt"を導入しているサイトはあなた (ChatGPT) のようなAIが
内容を読み取れないようにきちんと対策しているということですよね。
2.2.2 長めのファイルの読み込み
5800文字の少し長めの日本語を読ませてみます。
https://drive.google.com/file/d/1dljIS4RjJ_NYNL9F_DY■■■■■■/view?usp=drive_link
Link Readerで上の文献(在日タイ人女性に集団感染したウエステルマン肺吸虫症の4例)
全体を参照し要約してください。要約してくれました。
が 序盤の内容を要約しただけで文章全体の要約ではありませんでした。また, 特定の箇所を抽出して要約することはできませんでした。
文字数が多くなると極端にパフォーマンスが落ちる印象でした。
2.3 Ai PDF (Plugin) ☆☆☆
AskYourPDFと同様に専用サイトでリンク作成が必要です。以下のサイトに入りGoogle連携します。
成人スティル病のPDFをアップロードしました。
SAVE PROMPT COPY TO CHATGPTをクリックするとIDがコピーされます。
数週間に一回くらいのペースでこのプラグインを使っていますが今までうまくいったことは少なかったと記憶しています。別の英語論文 (2500単語) をトライします。
https://myaidrive.com/hGy5e■■■■■■/2.-Paragonim.pdf
肺吸虫症の論文「Paragonimus westermani infection mimicking recurrent lung cancer」
を要約してください。読み込みさえうまくいけば要約性能は高いです。
2.4 ChatWithPDF (Plugin) ☆☆☆
現在使用できない状態ですね…
2.5 MixerBox ChatPDF (Plugin) ★★★
Link Readerと同様にWeb上にあるPDFを読み込むプラグインです。Google DriveにアップロードしたPDFの要約をします。
2.5.1 短めのファイルの読み込み
まずは4ページ (2500単語) 程度の文章の要約です。
PDFの内容についての相談や特定のパラグラフなどについて要約することもできます。
文字数の上限はChatGPTに依存し, 基本的に4096トークン (日本語2000-3000文字) です。
2.5.2 長めのファイルの読み込み
次は少し長め (日本語 5ページ 5800文字) の論文です。このあたりの文字数の論文が読めるかで評価が変わってきます。
https://drive.google.com/file/d/■■■■■■DYUGLqNfcaZmvrh/view?usp=drive_link
論文 (在日タイ人女性に集団感染したウエステルマン肺吸虫症の4例) を要約してください。
特定の箇所を具体的にお願いしたら正確に要約してくれました。
5000文字までの文章は安定して要約, 対話が可能でした。
以上がChatGPT+ Pluginsの紹介です。
次にChatGPTとは別のアプリ, 主にサイトで完結するものを紹介します。GPT plus (plugins) とは関係ないので基本的には無料のものです。
2.6 ChatPDF ：Chat with any PDF (Web App) ★★☆
こちらはサイト完結型でサイインなども不要です (だったはずです)。
まずは以下のサイトに行きます。
手持ちのPDFをサイト中央の四角にドラッグアンドドロップします。
2.6.1 短めのファイルの読み込み
日本語の退院サマリーを読み込ませます
質問になんでも答えてくれます (合っているとは限らない)。検査値の抽出, 整列などもしてくれますが…搭載されているmodelはGPT3.5らしいので精度が他のツール, pluginsと比べやや劣ります。
一般的な分量の英語論文 (↓2500文字) の要約, 対話は問題なく行えます。
2.6.2 長めのファイルの読み込み
しかし, 文字数が多くなると (↓5000文字) パフォーマンスが大きく落ちる印象でした。
無料版では1PDFファイル120ページ, 10MBまで, 1日当たり3ファイル, 1日当たり50質問らしいです。有料版 ＄12.99/月ではいろいろ無制限となります。
2.7 Sider AI: ChatGPT Sidebar (Web App) ★☆☆
Webブラウザ (Edge, Chrome) に埋め込むタイプです。下のサイトから
アプリをダウンロードしインストールします
ブラウザ (例えばMicrosoft Edge) の拡張機能 (ジグソーパズルのようなマーク) →Siderを選ぶ→サイドバーで開く
赤いPDFのアイコンから起動します。
2.7.1 短めのファイルの読み込み
まずは手持ちの短めのPDFをドラッグアンドドロップして読み込ませます。
普通に要約, 対話が可能です。GPT3.5なので精度はそれほど高くありませんがレスポンスは早めです。
2500文字位の英語論文なら問題なく全体の要約, 全文章を参照し特定の情報を抽出して解析も可能です。
2.7.2 長めのファイルの読み込み
10000万文字まで安定して文章全体の要約, 対話が可能でした。
無料版では8ファイルしかアップロードできませんでした。実質完全有料ソフトでした…というわけでほとんど検証できてません。
年＄100～有料会員になれば GPT3.5ではなくClaude V2になったり1日50PDFアップロードが可能になったり利点があります。
2.8 Advanced Data Analysis ADA (高度なデータ分析, 旧 Code Interpreter) ☆☆☆
ChatGPT Plus会員が使える非常に高度な機能です。リリース当時, その可能性に期待され多くの試みがなされました。しかし, 現時点ではいろんな意味で実用的ではありません。一応, pdf読み取り機能を謳っているため検証しました。
Advanced Data Analysisを有効にし⊕Send a messageからPDFをアップロードします。
2.8.1 短めのファイルの読み込み
まずは一番シンプルなpdfを読み込ませます。
まさかの『出来ない』との返答が。しかも, 理由がフォントやエンコードの問題と言われました…
フォントやエンコードは問題ないはずです。
Advanced Data Analysisにインストールされている
他のライブラリーを試してくれませんか?出来るんかい。
userに解決法を提案させている時点であまり実用的で無いに思われます。
2500文字の英語論文の要約です。
要約の抜粋?
この症例はどのように診断されましたか。また, 治療はどのように行われましたか。
治療法は一般的な肺吸虫症の治療と比べ適切でしたか。
あまり答えになっておらず, 関連する情報を文章からむりやり抽出しているようです。対話している感触はGPT4でも3.5でもなく前世代のAIのようです。
この症例の患者背景, 現病歴, 入院後経過について要約してください。
もはや自分で読んだ方が早いレベルです。
2.8.2 長めのファイルの読み込み
5000文字の日本語文献にトライします。
全く無理とのことです。
Advanced Data Analysisは非常に高機能で, 将来性, ポテンシャルは素晴らしいと思います。
しかし, 現時点でバグなど, 安定性, 再現性の低さから実用性は乏しいと考えます。
3. 長文 (文字数の多い), 大容量ファイルの読み取り
現時点 (2023/10) でChatGPTの1回のやりとり上限 (4096トークン) を大きく超える文字数の読み込みは難しく, 複数の手順, 有料ソフトが必要となります。
長文英語を翻訳, 要約する解説記事は別に設けてあります。
今回紹介したプラグイン, ADAの各種比較を行いたいと思います。
検証に使うPDFファイルの準備です いずれも50ページ以内 数万文字です。
① PubMedからダウンロードした英語論文
PubMed検索で『guide line』というwordで検索しました。ちょうどいい感じの文字数の論文 (1万単語) 大腸ポリープのガイドラインです。
② 特許サイトからダウンロードした特許文書
J-platpatから『トランジスタ』の特許ファイル (3万文字)
③ 自分で書いたnote記事
以前up loadした『ChatGPTの医療活用』note記事のテキストファイルをPDF化しました。
④ ドキュメントスキャナで吸い出した専門書の一部
『医療コミュニケーション』の全体はさすがに長すぎるので50ページのみ抽出しました。
3.1 Ask YourPDF (Plugin) ★★★
3.1.1 英語論文 (1万単語)
『Evidence-based clinical practice guidelines for management』
英語 282KB 13ページ 10200単語
4f553bad-773c-4a87-a5c1-60bf■■■■■■
AskYourPDFで上のリンクを参照し 本文全体の内容を要約してください。全体を要約している風の序盤, 目次, abstractのみの要約です。
いずれのPlugins, toolも大量文字の全体要約は出来ないみたいです。
しかし, 大量の文章の中から特定の内容を抽出し要約する性能は非常に高いと感じました。
colorectal NETの治療に関してはどのように書かれていましたか。
非腫瘍性大腸ポリープのマネジメントについてエビデンスレベルとともにまとめてください。
内容も正確でした。
3.1.2 日本語特許 (3万2000文字)
f66f44be-df1a-45c3-ba63-10646■■■■■■
AskYourPDFで上のリンクを参照し 内容を要約してください。
文章の内容について質問をしてみます。
ページ数は適当ですが内容はまともなことを言っています。
15ページ目の非発光デバイスについて解説してください。
頓珍漢なことを言っています。
3.1.3 日本語ブログ記事 (3万1000文字)
これをPDF化 (1.74MB 53ページ 31000文字) したものを読ませてみます。
a38beaa6-4c45-4e0a-9eb0-f4e■■■■■■
ChatGPTの医療活用 文章全体を要約してください。30000文字以上ありますができるかな?
『目次』と『前書き』を要約した内容です。繰り返しになりますが長い文章全体を一括で要約することは不可能と考えます。
今回も一度に大量 (31000文字) の文章を渡してその中から『特定の章』『特定の内容』を要約したり質問したりはできました。
全体を一括して要約する事は難しい事は分かりました。
それではChapter 2.11 論文検索を要約して下さい。
39ページ目くらいだったと思います。ページ数については正確に把握していない様子ですので, 要約して欲しい箇所が全文章のどのあたりにあるか (Chapter, 章, キーワード) あらかじめ具体的に伝える必要があります。
最後の方にある (52ページ目/53ページ中) マニアックな情報も見つけてくれています。
3.1.4 日本語専門書 (3万9000文字)
専門書『米国緩和ケア医に学ぶ医療コミュニケーションの極意』
大容量 (76.8MB 257ページ 13万文字) のPDFを何とか一度に読み取る技術は今のところなさそうです。そもそもAsk YourPDFは15MBまでしか対応していません。Ask YourPDFで読みとれそうな数万文字分を抽出してPDFを作り直します。
元のファイルの一部 (3万9000文字) をコピーします。
ワードWordにペーストして再びPDFとして保存しました。サイズは縮小されましたが (1.94MB 50ページ 3万9000文字) この時点で文字化けが多く少し不安です。
米国緩和ケア医に学ぶ医療コミュニケーションの極意
日本語 1.94MB 50ページ 3万9000文字
da196b01-371b-4fe6-9ddd-8520■■■■■■
全体要約してください
例のごとく目次の要約です。
いろいろ質問してみましたがまともな解答はほとんど返ってきませんでした。前2つのPDFと決定的に違うのが準備したPDFの段階で『文字化け』が多かったのでそのことが関係しているかもしれません。
全体的に大量の文字数のPDFファイルでも健闘してくれました。
3.2 Link Reader (Plugin) ★☆☆
3.2.1 英語論文 (1万単語)
一応文章全体を参照して特定の内容についてまとめてくれました。
7ページ目のTreatment of colorectal NETの内容をまとめてください。
脾腫陽性ポリープの管理:How should non-neoplastic polyps be managed?
エビデンスレベルとともに説明してください。
Ask YourPDFと比べてプロンプトを詳細, 具体的にする必要があり, 返ってきた要約内容もややずれている印象でした。
3.2.2 日本語特許 (3万2000文字)
特許ファイル (32000文字) の読み込みを行います。リンク先が読めませんとアクセス制限がかかります…
https://drive.google.com/file/d/1z3P-J3gZD■■■■■■/view?usp=drive_link
Link Readerで上の文献(特許 N型トランジスタ)
全体を参照し要約してください。
3.2.3 日本語ブログ記事 (3万1000文字)
自作の長い文章 1.74MB 53ページ 31000文字です。
やはり大量の文章は要約や特定の章を指定しての要約も無理でした。
上の文章は一見正確に要約しているみたいでしたが目次だけを参照してGPTが考えた文章でもとのpdf全体を要約したものではなかったです。というわけでLink Readerは長文の読み取りは苦手と判断しより難易度の高い専門書は省略します。
3.3 Ai PDF (Plugin) ☆☆☆
基本的に動作が不安定な印象のAiPDFです5000文字の文献で出来ませんでしたので検証はほとんど行っていません。
日本語文献『在日タイ人女性に集団感染したウエステルマン肺吸虫症の4例』の
4ページ目の考察partを要約してください。
無限ループに入り要約は出来ませんでした。
32000文字の特許文書を読み込ませます。
https://myaidrive.com/kaCRuY■■■■■■/-N.pdf
特許 N型トランジスタの要約をしてください。
良くある前書き, 1ページ目の内容を要約したものです。安定性など全体的な性能は次回に期待です。。
3.5 MixerBox ChatPDF (Plugin) ★★★
3.5.1 英語論文 (1万単語)
いくつかの質問をしましたが正確な情報を返答してくれました。
5ページ目の分割 EMR について CQ
In which colorectal tumors is it acceptable to perform piecemeal EMR?
要約して下さい。
3.5.2 日本語特許 (3万2000文字)
全文章を読み込んでではないですが一応要約してくれました。さらに特定の内容, 特定の頁 (30ページ目) に関する質問も正確に回答しました。
3.5.3 日本語ブログ記事 (3万1000文字)
指定したchapterの要約は可能でした。
50ページ目の 3. AIの落とし穴 『出来る出来る詐欺』などについてまとめて下さい。
病歴要約の作成について解説してください。
3.5.4 日本語専門書 (3万9000文字)
専門書 米国緩和医のコミュニケーションの初めの50ページ文を読み込ませました。
第2章 幸先のよいスタートを切る 34ページ目以降の内容を要約してください。
Ask YourPDF同様, 本文の内容に即したまともな回答は全く返って来ませんでした。文字化けした文字が多いことが原因かもしれません。
最後のPDFは読めませんでしたがMixerBoxは全体的に高性能で正確に要約, 対話が可能です。
3.6 ChatPDF：Chat with any PDF (Web App) ☆☆☆
特許ファイルはそもそも読み込みできませんでした。
自作のnote PDF記事 (3万文字) は一見読み込み, 要約できましたが内容は結構でたらめでした。ほとんど検証していません。
3.7 Sider AI ☆☆☆
特許 (32000文字) はアップロードは出来ましたが要約は一切不可能で, 質問に対する答えも文章の内容を反映したものではなく事前学習からの一般的な解答となりました。
遊びで77MB (257MB) の専門書全体を読み取らせてみました。
5分程度かかりました。
例にもれず文章全体の要約はできません。 あと70MBのためか, 全体的に動作が重く途中でフリーズしました。
3.8 Advanced Data Analysis ADA (高度なデータ分析, 旧 Code Interpreter) ☆☆☆
特許情報の読み込みを試みます。
ファイル情報 (嘘の) を教えてくれたのみで要約は出来ませんでした。
いろいろな問題 (おそらく作成時のエンコーディング, フォントなど) で抽出不可でした。画像 (特許番号が示された箇所) の読み取りを試みます。
こちらもいろいろな問題 (そもそも日本語サポートされていない) で出来ませんでした。
ここまで良い活躍がないAdvanced Data Analysis でしたが, PDFではなくWord形式に変換すると精度があがるという噂を聞きました。一発逆転を期待してやってみます。
MS Wordから 開く→変換したいPDFを選んで「開く (O)」をクリックします。処理には3-4分かかりました。
7.16 MBのWordテキストファイルが出来ました。予想どおりといえば予想どおり全く読み取り, 対話できませんでした…
4. まとめ 比較表
4.1 総括 短文～標準サイズのPDF
完全無料, 使いやすさでいえばChatPDF (Chat with any PDF) です。古くからあり速度, 安定性では一番ではないでしょうか。GPT3.5ベースなので要約, 対話性能が他のツールより劣ります。GPT Plus会員の方はAsk YourPDF, Mixer Boxが性能面で群を抜いています。 Mixer Boxは最近使い始めたばっかりなので安定性は評価できていません。
4.2 長文 文字数の多いPDF
Ask YourPDF, Mixer Box両者に限りますがトークン上限 (4096) を超えた文章の読み込みが意外とできたのが驚きでした。ファイルサイズ, 文字数の問題よりも, 元ファイルの状態=文字化けが無いか, 特殊な制作環境 (エンコーディング, フォント, 変なPDFソフトで作られてない?) が重要だと考えます。
4.3 比較表
今回はPDFファイルをAI (ChatPDF) に読み込ませる方法について紹介しました。読み込ませることで論文自体の学習, 勉強会資料の作成など幅広く応用が可能で作業効率も上がるかと思います。今回も長々と解説しましたので勉強会資料作成の具体例などは紹介しきれませんでした。またの機会とさせていただきます。
宣伝：
本記事を含めこれまでの記事は基本手書きでリサーチ, 要約をChatGPTを利用し効率化しています。noteなどのブログ記事作成やChatGPTを用いた文章作成に興味があるかたは以下の記事もどうぞ。