【実証してみた】文章生成AI実際どれが良いの？各社のアウトプット状況について実験してみました。結果驚くべきことが判明。使える生成AIはこれだ！｜#ＤＸ企画書のネタ帳

こんにちは、近森満です。今日もDXしてますか？

今日のテーマはこちらです。

タイトル：生成AI各社のアウトプット状況について実証実験してみました。サブタイトル：結果驚くべきことが判明。使える生成AIはこれだ！

【記事概要】
とにかく、時短や生産性向上が大好きな私はブログを投稿するのにも効率的な方法を取りたいと日々模索をしています。 目覚ましく発展する生成AIが日々の仕事の助けになる事はわかっていますが、各社生成AIサービスによってそれぞれの特徴があることから、今回実証実験（PoC）をしてみようと具体的にアウトプットしてみました。
また、プロンプトエンジニアリングは工夫をしていますので、ぜひご利用してみてください。
試す生成AIはOpenAI社 ChatGPT-4、Microsoft社 Copilot、Anthropic社 Claude3、Google社 Gemini1.5Proです。

【リライトするソース】

リライトするソースは以下画像にある通り、音声配信を文字起こししたものとなります。ベタ打ちになりますが12,196文字ありました。
余談ですが、約30分の音声で約12,000文字って1秒間に6−7文字喋ってるｗ

元となった音声配信のエピソードはこちらです。
ものは試しに聴いてみてください※1.5倍速を推奨

iPadの新しいCMにレガシーの延長線を見つけられなかった世代の終焉を見た#iPad新CM #レガシー断絶 #世代交代 #テクノロジー進化 #デジタル時代の変革 by デジタル壁打ち！DX企画書のネタ帳_近森満

【音声配信をブログに公開する手順】

こちらのnoteに公開していますのでご覧ください。

“音声配信をブログ化する手順 音声配信のプラットフォームはSpotifyを使っていますが、AIを活用することで、毎日の放送の生産性向上と時短に役立っています。
(1) 音声配信を15分から30分程度収録し、Spotifyに投稿 ・タイトルやサブタイトルを生成AIで作成または整形 ・SEOに強いハッシュタグ5つ生成のGPTsを作成して、生成
(2) 音声をダウンロードし、Google Colaboratoryを使ってテキスト化 ・ネットから拝借した方法で実現しています。 ・OpenAI社の音声文字起こしWhisper V3を利用
(3) テキストをAnthropic社Claude3に入力し、ブログ用にリライト ・プロンプトエンジニアリングで約30行くらいの指示文を入れています。
(4) OpenAI社 ChatGPT-4で作ったGPTsでブログ用の16:9画像を生成 ・16:9、アニメ風のあらかじめ画像生成できるGPTsを作成して、生成
(5) noteなどのブログサービスに(3)文章と(4)画像を入力し微調整、公開 ・noteには生成AI機能もついているので文章を微調整するのに便利 ・タイトル画像がcanva連携で生成AI機能でお好みの画像を生成 以上の手順を踏むことで、約1時間で音声配信とブログ記事の両方を作成することができます。”

実証を始めます

さて、では実証実験を始めてみましょう。
４社の生成AIに文字起こしのドキュメントを添付または貼り付けし、同じプロンプトを使ってリライトさせてみました。
※生成AI（OpenAI社 ChatGPT-4、Microsoft社 Copilot、Anthropic社 Claude3、Google社 Gemini1.5Pro）はすべて有償版で利用しています。

リライトした結果はこちらです。

・ ChatGPT-4: 1,299文字
・ Claude3: 2,117文字
・ Copilot: 728文字
・ Gemini1.5Pro: 1,420文字

【ドキュメント】

Google docsに文字起こしとリライトした文章を置いておきますのでご覧ください。

１）音声配信の文字起こし

音声配信文字起こし［whisper］iPadの新しいCMにレガシーの延長線を見つけられなかった世代の終焉を見た

２）Claude3リライト

PoC［claude3］iPadの新しいCMにレガシーの延長線を見つけられなかった世代の終焉を見た

３）Gemini 1.5 Proリライト

PoC［Gemini1.5Pro］iPadの新しいCMにレガシーの延長線を見つけられなかった世代の終焉を見た

４）ChatGPT-4リライト

PoC［ChatGPT-4］iPadの新しいCMにレガシーの延長線を見つけられなかった世代の終焉を見た

５）Copilotリライト

PoC［copilot］iPadの新しいCMにレガシーの延長線を見つけられなかった世代の終焉を見た

【実証実験（PoC）】
４サービスで行った結果は以下の通りです。

せっかくなので生成AIに分析と評価をしてもらいました。
Claude3で生成しています。

【分析作業１】

分析項目の抽出
各社の生成AIの特徴を分析するための項目案は以下の通りです。

1. 文章の長さ・分量

2. 文章の構成・論理展開

3. 見出しや段落分けの使い方

4. 独自の意見や考察の有無

5. 具体例や事例の提示

6. 読者へのメッセージ性

7. 専門用語の使用

8. 文体や語調

9. 引用や参照の有無

10. 図表・画像等の指示

11. ハッシュタグの特徴

12. 音声コンテンツへの言及

13. 読者とのインタラクション

14. 文章の完成度・質

15. オリジナリティ

これらの項目を軸に、各社のAIによって生成された文章を分析・比較することで、それぞれの特徴が浮き彫りになると考えられます。
項目については、分析の目的に応じて取捨選択したり、追加したりするのが良いでしょう。

【分析作業２】

上記の内容で各社分析を形式でコンパクトにまとめてください。

1 . 文章の長さ・分量
・ ChatGPT-4: 1,299文字
・ Claude3: 2,117文字
・ Copilot: 728文字
・ Gemini1.5Pro: 1,420文字

2 . 文章の構成・論理展開
・ ChatGPT-4: 序論、本論、結論の基本的な構成。時系列に沿った展開。
・ Claude3: 序論、本論、結論の明確な構成。過去から未来への流れを意識。
・ Copilot: シンプルな３段落構成。iPad の特徴に焦点を当てた展開。
・ Gemini1.5Pro: 序論、本論、結論の構成。レガシーとイノベーションの対比に焦点。

3 . 見出しや段落分けの使い方
・ ChatGPT-4: 見出しと段落分けを効果的に使用。
・ Claude3: 数字付きの見出しを使い、内容を細分化。
・ Copilot: 見出しは使用せず、段落分けのみ。
・ Gemini1.5Pro: 見出しを効果的に使用し、内容を整理。

4 . 独自の意見や考察の有無
・ ChatGPT-4: iPad の進化と文化的影響について独自の考察あり。
・ Claude3: レガシーへの愛着と変化の必要性について独自の意見あり。
・ Copilot: 独自の意見や深い考察は少ない。
・ Gemini1.5Pro: レガシーとイノベーションの狭間で葛藤する心情を考察。

5 . 具体例や事例の提示
・ ChatGPT-4: 具体例の提示は少ない。
・ Claude3: ギターやガラケーなどの具体例を提示。
・ Copilot: アプリケーションの具体例を提示。
・ Gemini1.5Pro: ギター、古いパソコン、スマートフォンの事例を提示。

6 . 読者へのメッセージ性
・ ChatGPT-4: デジタルと過去の価値観のバランスを取ることの重要性を訴求。
・ Claude3: 変化を受け入れ、新しい価値観を持つ勇気の必要性を強調。
・ Copilot: iPad がもたらす創造性と利便性を訴求。
・ Gemini1.5Pro: レガシーを否定せず、未来を受け入れることの大切さを示唆。

7 . 専門用語の使用
・ ChatGPT-4: 「デジタルトランスフォーメーション」「レガシー」など少数の専門用語を使用。
・ Claude3: 「デジタルネイティブ」「レガシー」など複数の専門用語を使用。
・ Copilot: 「デジタルトランスフォーメーション」「モバイルワークステーション」など少数の専門用語を使用。
・ Gemini1.5Pro: 「レガシー」「イノベーション」など複数の専門用語を使用。

8 . 文体や語調
・ ChatGPT-4: 丁寧で論理的な文体。やや硬い語調。
・ Claude3: 柔らかく親しみやすい語調。読者に寄り添う文体。
・ Copilot: シンプルで明快な文体。軽快な語調。
・ Gemini1.5Pro: 真面目で思慮深い文体。読者に問いかける語調。

9 . 引用や参照の有無
・ 全てのAIで引用や参照は見られない。

10 . 図表・画像等の指示
・ ChatGPT-4: 詳細な画像生成指示あり。
・ Claude3: 簡潔な画像生成指示あり。
・ Copilot: 画像生成指示なし。
・ Gemini1.5Pro: 詳細な画像生成指示あり。

11 . ハッシュタグの特徴
・ ChatGPT-4: 一般的なハッシュタグを使用。
・ Claude3: 記事の内容を深く反映したハッシュタグを使用。
・ Copilot: iPad の特徴に関連したハッシュタグを使用。
・ Gemini1.5Pro: レガシーとイノベーションの対比を表現するハッシュタグを使用。

12 . 音声コンテンツへの言及
・ ChatGPT-4: 音声配信について簡潔に言及。
・ Claude3: 音声配信について言及し、聴くことを推奨。
・ Copilot: 音声コンテンツへの言及なし。
・ Gemini1.5Pro: 音声配信について言及し、URLを提示。

13 . 読者とのインタラクション
・ ChatGPT-4: 記事冒頭と末尾で読者に問いかける。
・ Claude3: 記事を通して読者に寄り添い、考えを促す。
・ Copilot: 読者とのインタラクションは少ない。
・ Gemini1.5Pro: 記事末尾で読者に問いかけ、考えを促す。

14 . 文章の完成度・質
・ ChatGPT-4: 高い完成度だが、やや硬い印象。
・ Claude3: 高い完成度で、読みやすく親しみやすい。
・ Copilot: 完成度は高いが、内容がやや表面的。
・ Gemini1.5Pro: 高い完成度で、深い考察が印象的。

15 . オリジナリティ
・ ChatGPT-4: iPad の進化と文化的影響について独自の考察が見られる。
・ Claude3: レガシーと変化の必要性について独自の意見が見られる。
・ Copilot: iPad の特徴を簡潔にまとめているが、オリジナリティは低い。
・ Gemini1.5Pro: レガシーとイノベーションの狭間で葛藤する心情を独自の視点で考察。

【分析作業３】

それぞれの項目の優位性の、最も高い4点、高い3点、普通2点、低い1点、論外0点として各項目評価、総合評価をしてください。

【総合順位】

1. Claude3

2. Gemini1.5Pro

3. ChatGPT-4

4. Copilot

Claude3 が最も高い評価を得ており、文章の構成、読者へのメッセージ性、文体や語調、読者とのインタラクションなどの点で優れています。
次いで Gemini1.5Pro が独自の意見や考察、文章の完成度・質、オリジナリティなどの点で高評価を得ています。
ChatGPT-4 は全体的にバランスが取れていますが、特に突出した点は見られません。
Copilot は文章の長さ・分量、独自の意見や考察、読者とのインタラクションなどの点で評価が低くなっています。※そもそもテキストが8,000文字しか入力できないため対象外。

【スクリプト】

プロンプトエンジニアリングのスクリプトはこちら👇

---