見出し画像

これから Dify の話をします…

Sangmin Ahn

こんにちは、Choimirai School のサンミンです。

0  はじめに

「これから OOOOOO の話をします」シリーズは今回で４回目です。

▼2020年3月25日

▼2022年4月29日

▼2022年8月12日

そして、4回目のお題は「Dify」です。

1  Difyって何？

Difyは生成AIのアプリが誰でも簡単に開発できるオープンソースのプロジェクトです。

ファイルをアップロードするだけでRAGの実装ができたり、必要に応じて複数ツールの追加も可。下記ポストは、チャットボットにWolfram Alphaを追加した時の様子です。

▲Difyで開発したチャットボットにWolfram Alphaを追加した時の様子

あと、補助金関連資料をアップすれば、補助金申請ボットのようなアプリも簡単に作れます。

2  複合AIシステムとは、

Difyを一言で紹介すると「最強の複合AIシステム（Compound AI Systems）」です。

Difyとは最強の複合AIシステム

2024年に一番注目を集めているトピックの一つがAIを活用したエージェントの開発です。単一の言語モデルに頼るより、複数のAIモデルとツールを組み合わせることで特定作業に特化したアシスタントが作れる。この動向については、AIの権威者であるAndrew先生も強調していることです。

そして、バークレー大学のAI研究チームも2023年が言語モデルの年だったのであれば、2024年は複合AIシステム（Compound AI Systems、略してCAIS）の年になると予測しています。

CAIS（Compound AI Systemの略、複合AIシステム）が最先端の成果を生み出す理由は４つに分けて考えられます。

1. システム設計：モデルを繰り返し呼び出す複合システムを構築することで、大規模な言語モデル（LLM）を単に拡大するよりも、はるかに高い性能を実現できる
2. 動的なシステム：最新のデータを取得するための検索・RAG機能を追加することが重要
3. 品質管理：モデルの行動を制御しやすくなる。LLMが不正確な情報を生成することは避けられない。が、検索機能と組み合わせて出典を提示すれば、信頼性を高めることができる
4. パフォーマンス向上：アプリケーションによって、性能とコストの要件は異なる。需要に特化したモデルを使用する方がコストパフォーマンスが良い

3  Difyの特徴①：とにかく使いやすい

Difyは最強の複合AIシステムでありながらとても使いやすいのが最大の特徴です。Dockerのイメージが用意されていますのでGitHubのリポジトリからコードをダウンロードし、docker compose up -d と叩くだけですぐ始められます。

git clone https://github.com/langgenius/dify
cd docker
docker compose up -d

docker compose up -d で必要なコンテナが起動したことを確認し、ブラウザからhttp://localhost/install へアクセスしますと下記のような画面が表示されます。

アドミン用のアカウントを登録しますとログイン画面に遷移します。遷移先で、メールアドレスとパスワードを入力すればDifyの機能が全て使える。Dockerがインストール済みですと、10分でDifyを立ち上げ、使い始めることができます。

10分でDifyを立ち上げ、使い始めることができる

4  Difyの特徴②：高品質のRAG

生成AIで差別化を図るため重要なのが高品質のRAG（検索して強化したテキスト生成）です。

Difyではドキュメントからテキストを抽出する作業から始め、エンベディングモデル*やベクトルDB、そしてRerankモデルの選択までベストなRAGを実装する仕組みが標準でついています。

※エンべディング：テキストや画像、音声などのデータを、AIや機械学習、言語モデルが処理しやすい数値ベクトル表現に変換する技術

ベクトルDBへ格納されたテキストは後から削除することも可。必要なデータだけを残すことでRAGのクオリティをさらに向上できます。

5  Difyの特徴③：豊富なツール

CAIS（複合AIシステム）がもたらすメリットを最大限に引き出すためにはニーズによって適切なツールを呼び起こすことが大事です。

DifyではWolfram AlphaやBing Web Searchなど複数のツールが標準で利用できます。また、ニーズに合わせ、自前のツールを開発し追加することも簡単です。

6  Difyの特徴④：複数モデルの比較

2024年3月まではGPT-4を超えるモデルがなかったので、とにかくGPT-4を使えば安全でした。が、2024年3月4日にClaude 3 Opusが公開されてからは話が違います。

特に、日本語に対する回答ではClaude 3 Opusの性能が、GPT-4を圧倒的に上回る。こうした変化はこれからも続く。そして、複数のモデルを評価し、適切なモデルが選べる能力が重宝されます。

Difyでは最大4つのモデルを並べ、結果を比べられます。下記図は、着物の合わせ方に対し、Claude 3 OpusとGPT-4に評価してもらった時の様子です。

7  Difyの特徴⑤：Webアプリの自動生成

Difyは大きく分け、バックエンドとフロントエンドの構成となっている。前者がPythonのFlaskで、後者はNext.js/Typescriptでの実装。

▼バックエンド

▼フロントエンド

バックエンドでチャットボットを作りますと自動的にフロントエンドのWebアプリが生成されます。Overview画面にあるPublic URLをシェアしますとチャットボットが公開できます。

上記ページで作成したチャットボットは次のリンクからアクセスできます。利用しているモデルはClaude 3 Haikuです。

8  Difyの特徴⑥：開発の精度と速さ

AIの進化は早く、この調子で人工知能が発達していけば、我々を取り巻く社会環境も急変する。こうした変化についていくためにも最新技術を活用する仕組み作りはもはや選択ではなく、必須です。Difyはオープンソース*でありながらコアの開発チームがついていて、週に1回の頻度で新しい機能をリリースしています。

※重要：２つの条件につきましてはビジネス・ライセンスが必要です。
①フロントエンドページに表示されるロゴの変更
②マルチテナント仕様のSaaSサービスの構築

9  Difyが起こす破壊的イノベーション

2024年3月18日からいろんな分野の方々にDifyのデモを行っています。デモに参加された方から共通するフィードバックが来年度から進めるプロジェクトを根本から見直す必要があるとのことです。2024年の夏にGPT-5が公開されますとこの変化はさらに加速します。

半歩先未来に備えるためにも変化へ柔軟に対応できる仕組みづくりは個人にも企業にもとても重要なスキルだと思っています。

10  Choimirai Schoolからの宣伝

Choimirai Schoolでは5回の個別面談でDifyの基礎から始め、RAGの実装まで体験できるプログラムを2024年4月1日からスタートします。

法人・団体向けの研修・開発は下記のメールまで問い合わせください。

📧 biz@choimirai.com

11  まとめ

AI時代には今流行りのものより、今後どう変化していくかを予測しながら動くのが肝要です。

今後の変化を見極めないと報われない努力で終わってしまう可能性も大いにある。

あと、Difyを導入しますと週一の頻度でリリースされる新機能にも自ずと興味を持つ。すると、AIによって導かれる半歩先の未来が覗けます。また、DifyではOpenAI以外のモデルも使えで、飛行機能力が鍛えられますので超オススメです。


この記事が気に入ったらサポートをしてみませんか？