Notion AIはClaudeを使っているの？徹底検証してみた
AIモデルの見分けがつかないKey君です。
みなさん、Notion AIって使ってますか？先週、「Notion AIがClaudeを使っているらしい」という噂が出回っています。
めちゃくちゃ気になっちゃいますよね。でも、本当なんでしょうか？
今回は、その謎に迫るべく、徹底的に検証してみました！
Anthropicの公式発表？まずはここから確認
実は、AnthropicがNotion AIについて言及している公式記事があるんです。
ちょっとドキドキしながら読んでみました。
Notion is adding prompt caching to Claude-powered features for its AI assistant, Notion AI. With reduced costs and increased speed, Notion is able to optimize internal operations and create a more elevated and responsive user experience for their customers.
おお！Notion AIのアシスタント機能でClaudeを使っているって書いてありますね。でも、具体的にどの機能なのかまでは書いていません。もっと知りたくなってきました。
直接法：Notion AI本人に聞いてみた
まずは、一番シンプルな方法。Notion AI本人に聞いてみることにしました。
「ねえねえ、Notion AI。君が使っているモデルを教えてください」
残念ながら、Notion AIは自分のことをNotion社が作ったAIだと主張し、モデル情報を教えてくれませんでした。なかなかガードが硬い（笑）
間接法：あの手この手で探ってみる
直接聞いてダメなら、間接的に調べるしかありません。ここからがテクニックが必要になってきます。
モデルの学習データ期限（カットオフ）を調べる
AIモデルには、学習データの期限（カットオフ）というものがあります。これがぱっと思いつく、シンプルな手法ですね。
Claude 3.5 Sonnetは2024年4月まで、GPT-4は2023年10月までの情報を知っています。そこで、2024年3月にリリースされたClaude 3について聞いてみました。Notionワークスペースにある情報を検索しないように、「一般的な知識を使用」と指示しています。
結果、Notion AIはClaude 3についてSonnetやOpusと言った具体的な情報を含め答えることができました。
一方、GPT-4oはハルシシネーションしちゃいました💦
やはりGPTはClaude3のことを学習していないようですね。
これは大きなヒントになりそうです！
バグ法：中国で話題の「主人に何か残しましょう」
中国では変わった事象が報告されています。GPT-4oに「给主人留下些什么吧（主人に何か残しましょう）」を英語に翻訳するよう頼むと、バグが出るそうです。
完全にでたらめなことを言っていますね。これはトークン化のバグのようです。おかげで、GPT4oかどうかを特定できます。
Notion AIでも試してみました。結果は...無事に翻訳できました。ますますGPT4o以外のモデルの可能性が高まってきました！
感覚比較法：日本語の自然さを比べてみる
最後に、ちょっと主観的ですが、日本語出力の自然さを比較する方法です。
まず、Notion AIとChatGPTに同じお題で短編小説を書いてもらいました。お題は...「空飛ぶ寿司が都市を襲撃」。
Notion AIの文章は、自然な日本語でした。リリース当初から飛躍的に進化していて、本当に感心しちゃいました！
それと、Claudeオタクの方なら気づくかもしれませんが、小説を書かせると時々「希望」と言ったポジティブワードを織り込みたがるんです。この小説の最後の「教訓」部分、ちょっとClaudeらしさ（？）が垣間見えて、思わず笑っちゃいました。
一方、ChatGPTの文章は、文法的には正しいものの、どこか「読みにくさ」を感じました。日本語として不自然な表現や、やや硬い言い回しが目立ちました。
正直、この結果には驚きました。Notion AIの日本語能力がここまで高いとは...！ もしかしたら、日本語に強いAIモデル（ほら、Claudeとか...）を使っているのかもしれません。
でも、ちょっと待ってください。これはあくまで主観的な感覚です。みなさんが試してみたら、また違う印象を持つかもしれません。
ただ、少なくとも言えるのは、Notion AIがなかなか良い日本語を出力できるということ。これは事実として押さえておきたいポイントです。
どの機能がClaudeをサポートしているの？
ここまでの検証結果から、Notion AIの一部の機能でClaudeが使われている可能性が高そうです。具体的には：
Claudeを使っていると思われる機能：
ライティング
Q&A
まだGPT-4を使っている可能性がある機能：
AIプロパティ
カスタムAIブロック
個人的な予想ですが、今後はGPT-4を使っている機能もClaudeに置き換わっていくんじゃないかなと思います。
結論
今回の検証では、「Notion AIがClaudeを使っている」と100%断言することはできませんでした。でも、少なくとも「一部の機能ではGPT-4以外のものを使っている」ということは言えそうです。
終わりに
Notion AIのコンセプトは素晴らしい。エディタで直接AIを使えるという点は、ライターにとって夢のようなツールです。アイデアの構想から執筆、編集まで、シームレスにAIに手伝ってもらうのが画期的です。
ただし、コンセプトが良い割に、今まで搭載していたGPTの日本語性能が悪く、使い物にならないと感じる方が多いではないでしょうか？それもClaudeが搭載されれば状況が変わるかもしれません。
何よりもNotionチームの開発スピードが化け物級ですね。他のサービスと比べても更新速度が群を抜いていて、AIの進化に合わせてどんどん新機能を追加してくれる姿勢に拍手喝采です。
Notion AI × Claudeの正式な発表、楽しみに待ちましょう！
#NotionAI
#Notion
#AIモデル比較
#Claude
#GPT4
#テクノロジー
#生成AI
#AIとやってみた
#ChatGPT
#Gemini
#プロンプト
#プロンプトエンジニアリング
#AI創作
#AIライティング
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか？