マガジンのカバー画像

LLM

336
本
運営しているクリエイター
thomas

#自然言語処理

npaka

npaka

Google Colab で Gemma 2 JPN を試す

Google Colab で Gemma 2 JPN を試す

「Google Colab」で「Gemma 2 JPN」を試したのでまとめました。

1. Gemma 2 JPN「Gemma 2 JPN」は、「Gemma 2 2B」を日本語テキストに合わせてファインチューニングしたモデルです。「Gemma 2」での英語のみのクエリと同じレベルのパフォーマンスで日本語をサポートします。

2. Colabでの実行Colabでの実行手順は、次のとおりです。

(1

もっとみる
npaka

npaka

Google Colab で Gemma 2 Baku 2B を試す

Google Colab で Gemma 2 Baku 2B を試す

「Google Colab」で「Gemma 2 Baku 2B」を試したのでまとめました。

1. Gemma 2 Baku 2B「Gemma 2 Baku 2B」は、「Gemma 2 2B」を「Chat Vector」と「ORPO」(Odds Ratio Preference Optimization) を使用してファインチューニングしたモデルです。「gemma-2 chat形式」に準拠していま

もっとみる
npaka

npaka

OpenAI API の Evals の概要

OpenAI API の Evals の概要

以下の記事が面白かったので、簡単にまとめました。

1. EvalsAIモデルで開発する場合、出力が正確で有用であることを確認するために、継続的にテストすることが不可欠です。テストデータを使用してモデル出力に対して評価 (Evalsと呼ばれる) を定期的に実行することで、高品質で信頼性の高いAIアプリケーションを構築および維持するのに役立ちます。

OpenAIは、テストデータセットで評価を作成お

もっとみる
npaka

npaka

WebLLM を使って Qwen2.5-1.5B のブラウザ上でのローカル実行を試す

WebLLM を使って Qwen2.5-1.5B のブラウザ上でのローカル実行を試す

「WebLLM」を使って「Qwen2.5-1.5B」のブラウザ上でのローカル実行を試したのでまとめました。

1. WebLLM「WebLLM」は、「MLC」の技術を活用してWebブラウザ上でLLMを実行できるようにするプロジェクトです。

これにより、ユーザーはローカルのGPUリソースを活用して、プライバシーを保ちながらLLMと対話できるようになりました。

2. WebLLM での実行WebL

もっとみる
npaka

npaka

Llama 3.2 の概要

Llama 3.2 の概要

以下の記事が面白かったので、簡単にまとめました。

1. Llama 3.2「Llama 3.2 11B・90B」は、チャートやグラフを含むドキュメントレベルの理解、画像キャプション、自然言語の説明に基づいて画像内のオブジェクトの方向を正確に特定するなど、画像推論のユースケースをサポートします。

「Llama 3.2 1B・3B」は、多言語テキスト生成とツール呼び出し機能に非常に優れています。こ

もっとみる
はち

はち

OpenAI o1はどう作るのか（詳細編）

OpenAI o1はどう作るのか（詳細編）


1. はじめに前回、OpenAI o1をどう作るかについて概要レベルで議論しました。
OpenAI o1が新しい強化学習手法を用いて強化されたモデルであることは確実であり、具体的にどういうロジックで学習されているか考えていきたいと思います。
強化学習について間違った理解があればご指摘ください。（一応学習はしたものの普段使いしているわけではないので忘れているところもあると思います。）

2. 強化

もっとみる
はち

はち

OpenAI o1はどう作るのか(概要編)

OpenAI o1はどう作るのか(概要編)


1. はじめにOpenAIから久しぶりに新しいモデルが出ました。

OpenAI o1: 強力な推論能力と幅広い世界知識

OpenAI o1-mini: コーディングタスクに特化

モデルについての細かい説明はここではしませんが、OpenAIの公式報告によれば

とのことです。少なくとも既存のLLMからは一歩抜きん出た能力を持っていそうです。

公式からOpenAI o1の詳細な中身については

もっとみる
jniimi

jniimi

量子化したローカルLLMによるセンチメント分析モデルのpreprintを公開しました

量子化したローカルLLMによるセンチメント分析モデルのpreprintを公開しました

arXivにローカルLLMを用いたモデル提案のpreprintを公開しました。大規模言語モデル、今回はLLaMA-3を量子化したローカルモデルを使ったセンチメント分析手法の提案ですね。

1. タイトルなどTitle: Dynamic Sentiment Analysis with Local Large Language Models using Majority Voting: A Study

もっとみる
npaka

npaka

Google Colab で Tanuki-8x8B を試す

Google Colab で Tanuki-8x8B を試す

「Google Colab」で「Tanuki-8x8B」を試したのでまとめました。

1. Tanuki-8x8B「Tanuki-8x8B」は、経産省及びNEDOが進める日本国内の生成AI基盤モデル開発を推進する「GENIAC」プロジェクトにおいて、松尾・岩澤研究室が開発・公開した日本語LLMです。

フルスクラッチで開発されたモデルで、Apache License 2.0に基づき、研究および商業

もっとみる
npaka

npaka

FalconMamba 7B の概要

FalconMamba 7B の概要

以下の記事が面白かったので、簡単にまとめました。

1. Falcon Mamba「Falcon Mamba」は、「Abu Dhabi」の「TII」(Technology Innovation Institute) が 「TII Falcon License 2.0」に基づいてリリースした新しいモデルです。このモデルはオープンであり、HuggingFaceで誰でも研究やアプリ目的で使用できます。

もっとみる
朝日新聞社 メディア研究開発センター

朝日新聞社 メディア研究開発センター

【LLM】Few-shot推論は言語化の壁を越えられるか

【LLM】Few-shot推論は言語化の壁を越えられるか

こんにちは。メディア研究開発センターの川畑です。

みなさん ChatGPT 使ってますか？便利ですよね。何か訊いたら大概のことは正確に教えてくれますし、論文等の文書もわかりやすくまとめてくれたりと万能な存在です。

そんな便利な ChatGPT もとい LLM (large language model) ですが、その知識を引き出すためには質問や指示をキチンと言葉にしなければいけません。ちゃんと

もっとみる
npaka

npaka

Llama-3.1 の概要

Llama-3.1 の概要

以下の記事が面白かったので、簡単にまとめました。

1. Llama-3.1 の概要「Llama-3.1」は、一般知識、操縦性、数学、ツールの使用、多言語翻訳の最先端の機能に関して、トップクラスのAIモデルに匹敵する、初めてオープンなモデルです。405Bモデルのリリースにより、イノベーションを加速させ、前例のない成長と探求の機会を得る準備が整いました。最新世代の 「Llama」は、合成データ生成に

もっとみる
npaka

npaka

GPT-4o mini の概要

GPT-4o mini の概要

以下の記事が面白かったので、簡単にまとめました。

1. GPT-4o mini の概要「GPT-4o mini」は、インテリジェンスをより手頃な価格にすることで、AIで構築されるアプリの範囲を大幅に拡大すると期待しているモデルです。MMLUで82%のスコアを獲得し、現在「LMSYS leaderboard」のチャットで「GPT-4」を上回っています。価格は、入力トークン100万個あたり15セント

もっとみる
npaka

npaka

Ragas で LangChainのRAG評価 を試す

Ragas で LangChainのRAG評価 を試す

「Ragas」でLangChainのRAG評価を試したので、まとめました。

1. Ragas「Ragas」は、「RAG」を評価するためのフレームワークです。

2. LangChainの準備LangChainの準備手順は、次のとおりです。

(1) パッケージのインストール。

# パッケージのインストール!pip install langchain==0.2.0!pip install lan

もっとみる