Rhe

コンピュータビジョンの研究をしています。 最近はマルチモーダルRAGに興味があり、Ll…

Rhe

コンピュータビジョンの研究をしています。 最近はマルチモーダルRAGに興味があり、LlamaIndexを使ったあれこれを投稿していく予定です。 たまに読書記録も書き込む予定です。

  • LlamaIndex v0.10 基礎

    LlamaIndexの公式ドキュメントをもとに、理解に必要な基本的な実装を行いながら一緒に理解を深めていきましょう。 単純な日本語訳としてもご利用できますし、コード実装のヒントとしてもご利用できます。

  • ハーバードの心理学講義

LlamaIndex v0.10の「上位レベルのモジュール内のプロンプトへのアクセス，カスタマイズ」をやってみる

2024/03/20 こちらの公式ドキュメント(v0.10.20)を参考に評価についてまとめていきます． https://docs.llamaindex.ai/en/stable/examples/prompts/prompt_mixin.html はじめにLlamaIndexには，さまざまな高レベルのモジュール（クエリエンジン，応答合成器，検索器など）が含まれており，その多くはLLM呼び出しを行い，プロンプトテンプレートを使用します． ここでは，①`get_prom

Rhe

    • テキスト埋め込みモデルはローカルで動かせるのか？サーベイ

      こんにちは． 今回は，テキスト埋め込みモデルはローカルで動かせるもので十分な性能が出るのか調査してみました． このテキスト埋め込みモデルは，RAGやLLMの性能の根本を決めるコンポーネントの一つであります． Sentence Transformers前提知識として，テキストを埋め込みと呼ばれるベクトル表現に変換するためのライブラリとしてSentence Transformersがあります． この埋め込みに変換する利点は次の通り． テキストの類似度算出ができる 分類

      Rhe

      • LlamaIndex v0.10のLLMのカスタマイズをやってみる

        2024/03/06 こちらの公式ドキュメント(v0.10.16)を参考に評価についてまとめていきます． LlamaIndex アブストラクションにおけるLLMのカスタマイズLLMの抽象化をLlamaIndexの他のモジュール（インデックス、検索器、クエリエンジン、エージェント）にプラグインすると、データに対して高度なワークフローを構築することができます。 デフォルトでは、OpenAIの`gpt-3.5-turbo`モデルを使用します。ただし、使用されているベースLLM

        Rhe

        • LlamaIndexについての有益なサイトまとめ

          こんにちは．大学院でコンピュータビジョンの研究を行っているRheです． 今回はLlamaIndexを用いてRAGをおこなうために，参考となる有益なnoteを一挙にサーベイしたのでまとめていきます． 「LlamaIndex v0.10 の概要」by npakaさんこちらの記事では，つい今月リリースされたばかりの最新バージョンのLlamaIndexについてまとめています． バージョンv0.10 では，llama-index-core というパッケージにまとめられたことや，全

          Rhe

        LlamaIndex v0.10の「上位レベルのモジュール内のプロンプトへのアクセス，カスタマイズ」をやってみる

        Rhe

        • テキスト埋め込みモデルはローカルで動かせるのか？サーベイ

          Rhe

        • LlamaIndex v0.10のLLMのカスタマイズをやってみる

          Rhe

        • LlamaIndexについての有益なサイトまとめ

          Rhe

        マガジン

        • LlamaIndex v0.10 基礎
          6本
        • ハーバードの心理学講義
          2本

        記事

          LlamaIndex v0.10のEvaluatingをやってみる

          2024/02/29 こちらの公式ドキュメント(v0.10.14)を参考に評価についてまとめていきます． https://docs.llamaindex.ai/en/stable/understanding/evaluating/evaluating.html はじめに表かとベンチマークはLLM開発における重要な概念です．LLMアプリ(RAG, エージェント)のパフォーマンスを向上するにはそれを測定する方法が必要です． LlamaIndexでは，生成された結果の品質を

          Rhe

          LlamaIndex v0.10のEvaluatingをやってみる

          Rhe

          LlamaIndex v0.10のTracingとDebuggingをためす＋Callback

          2024/02/28 こちらの公式ドキュメント(v0.10.13)を参考にトレースとデバッグについてまとめていきます． 更にこちらのコールバックについてのドキュメントもまとめます はじめにアプリケーションのデバッグを行いトレースすることは，アプリケーションを理解して最適化する重要なカギです．LlamaIndexでこれを行うための方法を紹介します． 基本的なロギングアプリケーションの動作を調べるもっとも簡単な方法は，デバッグログを有効にすることです．これは，次のコードで

          Rhe

          LlamaIndex v0.10のTracingとDebuggingをためす＋Callback

          Rhe

          LlamaIndex v0.10の「Putting It All Together」のQ&Aをやってみる＋PandasQueryEngine

          2024/02/26 ※すべての内容は無料で閲覧いただけます。 こちらの公式ドキュメント(v0.10.12)を参考にQ&Aについてまとめていきます． はじめにここまで，LlamaIndexを用いてデータをロードしインデックスを作成してクエリする一連の流れについて学んできました． ここからは，本番環境を見据えた具体的なフレームワークに落とし込むための方法についてみていきます． Putting It All TogetherLLMを用いたアプリケーションは大きく3つに分

          Rhe

          LlamaIndex v0.10の「Putting It All Together」のQ&Aをやってみる＋PandasQueryEngine

          Rhe

          支援ノート

          支援をしていただける方はこちらからお願いいたします。

          200
          Rhe

          支援ノート

          Rhe

          「大規模言語モデルを作る」についてまとめてみた

          LLMについて、いいスライドがあったので、まとめてみました。 作成者の小山田さんは、NECでLLM系の研究開発グループを主催しているそうです。 cotomiというNEC独自の高い日本語力を持つ言語モデルを開発しているみたいです。 LLMの構築方法について一般論が書かれているためそれにフォーカスしていきます。 結構濃密なスライドな上、図もわかりやすいのでしっかり読みたい方は元の資料をご覧いただくのがおすすめです。 それを踏まえて、要点だけ知りたい！という方向けにまとめ

          Rhe

          「大規模言語モデルを作る」についてまとめてみた

          Rhe

          LlamaIndex v0.10のQueryingでクエリをやってみる

          2024/02/23 ※すべての内容は無料で閲覧いただけます。 こちらの公式ドキュメント(v0.10.12)を参考にQueryingについてまとめていきます． クエリこれまでの記事で以下のことを行いました。 データのロード インデックスの構築 インデックスの保存 これで、LLMアプリケーションで最も大事であるクエリに取り組む準備が整いました。 最も単純なクエリは、LLMへのプロンプト呼び出しにすぎません。 クエリは、 質問して回答を取り出す 要約を出力し

          200
          Rhe

          LlamaIndex v0.10のQueryingでクエリをやってみる

          Rhe

          LlamaIndex v0.10のStoringで保存機能をやってみる

          ※すべての内容は無料で閲覧いただけます。 こちらの公式ドキュメントを参考にStoringについてまとめていきます． 保存データをロードしてインデックスを作成したら，コスト低減のためにインデックスデータを保存するとよいです． デフォルトではインデックス付きデータはメモリにのみ保存されるため，明示的にストレージへの保存が必要です． ディスクインデックス付きのデータを保存するもっとも簡単な方法は，各インデックスに備わっているメソッド.persist()を使用することです．

          200
          Rhe

          LlamaIndex v0.10のStoringで保存機能をやってみる

          Rhe

          LlamaIndex v0.10のIndexingをやってみた

          2024/02/20 こちらの公式ドキュメントを参考にインデックス作成についてあれこれ試してみました． 私が試した時のLlamaIndexの最新バージョンはv0.10.7です． なお，私の実行環境はこちらです． !pip install -q openai==1.12.0!pip install -q pypdf==4.0.1!pip install -q langchain==0.1.7!pip install -q llama-index==0.10.5 インデ

          Rhe

          LlamaIndex v0.10のIndexingをやってみた

          Rhe

          LlamaIndexのData Lodingについてやってみた

          LLamaIndexのデータのロードについてサクッとまとめました． https://docs.llamaindex.ai/en/stable/understanding/loading/loading.html 私の使用している環境はこちら． !pip install openai!pip install pypdf==1.12.0!pip install langchain==0.1.7!pip install llama-index==0.10.5 SimpleD

          Rhe

          LlamaIndexのData Lodingについてやってみた

          Rhe

          ハーバードの心理学講義２

          第２章　「自分の性格を理解する」ーーー5つの要素で適性がわかる 考察 59 パーソナリティは幸福度や健康に影響する。だとしたら、パーソナリティ（性格）は不変だと考えて良いのだろうか？ 60 パーソナリティを考える際には環境も考慮しなければならない。その長所が限られた場面でのみ効果的なものかもしれない。 ◯誠実性　成功や長寿を生み出すが、変化には弱い 高い人　計画性がある、規律正しい、注意深い、忍耐強い、賢明、非衝動的 低い人　無秩序、自発的、不注意、軽率、衝動的 週間づ

          Rhe

          ハーバードの心理学講義２

          Rhe

          ハーバードの心理学講義　まとめ

          1. あなたを閉じ込めている檻　ーーーメガネを変えて世界を見る 用語 ・パーソナリティ心理学 人格や性格などの「その人らしさ」を研究の対象とした心理学の領域 個人差に対する関心が非常に高い 「山田太郎さん」の言動にうかがえる「太郎さんらしさ」は「山田太郎さん」という個人において、 ずっと以前から続いてきたことであり、明日も一週間後も、おそらくそのままであろうと予測すること ができます。 ・パーソナル・コンストラクト理論 人にはそれぞれ独自の評価基準があり、それに

          Rhe

          ハーバードの心理学講義　まとめ

          Rhe