yutohub

yutohub

Self-Instructで商用利用可能な日本語インストラクションデータを作成する

Self-InstructについてSelf-Instructは、175個の人間が書いたインストラクションから新しいインストラクションを生成できます。 Stanford Alpacaの実装では、175個の人間…

yutohub
yutohub
3週間前
5

Megatron-DeepSpeedからHFのTransformersにチェックポイントを変換する

こちらのプロジェクトでMegatron-DeepSpeedからHFのTransformersにチェックポイントを変換する必要があったので Megatron-DeepSpeedは、NVIDIAのMegatron-LMをもとにした…

yutohub
yutohub
4週間前
2

Mistral AIの3つオープンソースモデルの日本語性能を確認してみる

はじめにWikipediaによると、Mistral AIはAI製品を販売するフランスの企業で、2023年4月にMeta PlatformsとGoogle DeepMindの元従業員によって設立されたそうです。2023年1…

yutohub
yutohub
4週間前
4

GPTからChatGPTへ：OpenAIの言語モデルの進化の歴史

GPT2018年、OpenAI は「Improving Language Understanding by Generative Pre-Training（GPTによって言語理解を向上させる）」というタイトルの論文を発表しました。 既存…

yutohub
yutohub
1か月前
7

合成データを利用したLLMの開発

大規模言語モデル（LLM）の開発において、高品質で多様なデータセットの重要性は計り知れません。しかし、インターネットから収集されたデータには多くの問題が伴います。…

yutohub
yutohub
1か月前
14

Meta Quest 3のソフトウェアアップデートv64によるパススルー機能の改善

今回のアップデートでは、以下のような変更点がありました。今回はMeta Quest 3を使っていて感じたことを書きたいと思います。 パススルーの改善 外部マイクのサポート …

yutohub
yutohub
1か月前
4

Meta Llama 3の紹介

2024年4月19日にMetaは、8Bおよび70Bの事前訓練済みおよびインストラクションチューニングされた大規模言語モデル（LLM）のMeta Llama 3を開発し、リリースしました。 性…

yutohub
yutohub
1か月前
13

llm-jp-evalの中身を見てみる

llm-jp-evalが対応している8つのカテゴリ 自然言語推論（Natural Language Inference, NLI） - Jamp, JaNLI, JNLI, JSeM, JSICK 質問応答（Question Answering, QA） - J…

yutohub
yutohub
1か月前
4

Japanese MT-Benchの中身を見てみる

はじめにJapanese MT-Benchには以下の8つのカテゴリーがあります。それぞれのカテゴリーにどんな質問が含まれているのか分析してみたいと思います。 coding: コーディング…

yutohub
yutohub
1か月前
5

Pythonとngrokを使ってSlack Botを作ってみる

はじめにSlackは、チームコミュニケーションとコラボレーションを目的としたビジネス向けのメッセージングアプリです。さまざまなアプリやボットを追加することで、ユーザ…

yutohub
yutohub
1か月前
2

最適なLLMを見つけるためのガイド

背景近年、人間の指示に従う能力や会話能力を高めるために、教師ありファインチューニング（SFT: Supervised Fine-Tuning）や人間のフィードバックを用いた強化学習（RLHF …

yutohub
yutohub
1か月前
4

英語のポットキャストを日本語に吹き替えてみる

YouTubeの英語動画を見る際、日本語字幕を利用することができますが、ポッドキャストのように目を離しても楽しめるメリットを字幕では得られません。そこで、AI技術を使っ…

yutohub
yutohub
1か月前
2
yutohub

yutohub

Self-Instructで商用利用可能な日本語インストラクションデータを作成する

Self-Instructで商用利用可能な日本語インストラクションデータを作成する

Self-InstructについてSelf-Instructは、175個の人間が書いたインストラクションから新しいインストラクションを生成できます。

Stanford Alpacaの実装では、175個の人間が書いたインストラクションから3つをサンプルして、GPT-3に新しいインストラクションを20個生成させています。生成されたインストラクションをROUGEスコアを用いて既存のインストラクションと

もっとみる
yutohub

yutohub

Megatron-DeepSpeedからHFのTransformersにチェックポイントを変換する

Megatron-DeepSpeedからHFのTransformersにチェックポイントを変換する

こちらのプロジェクトでMegatron-DeepSpeedからHFのTransformersにチェックポイントを変換する必要があったので

Megatron-DeepSpeedは、NVIDIAのMegatron-LMをもとにした拡張版で、DeepSpeedライブラリを使用しています。

Megatron-DeepSpeedには、DeepSpeedからMegatron-LMやHugging Face

もっとみる
yutohub

yutohub

Mistral AIの3つオープンソースモデルの日本語性能を確認してみる

Mistral AIの3つオープンソースモデルの日本語性能を確認してみる

はじめにWikipediaによると、Mistral AIはAI製品を販売するフランスの企業で、2023年4月にMeta PlatformsとGoogle DeepMindの元従業員によって設立されたそうです。2023年10月には3億8500万ユーロの資金を調達し、12月には20億ドル以上の価値があると評価されました。

Mistral AIは、オープンソースモデルと商用モデルの両方を提供しています

もっとみる
yutohub

yutohub

GPTからChatGPTへ：OpenAIの言語モデルの進化の歴史

GPTからChatGPTへ：OpenAIの言語モデルの進化の歴史

GPT2018年、OpenAI は「Improving Language Understanding by Generative Pre-Training（GPTによって言語理解を向上させる）」というタイトルの論文を発表しました。

既存手法: タスク毎に教師ありデータを作ってモデルを学習させていた。
提案手法: 教師なしで事前学習を行ったあと、少量の教師ありデータでファインチューニングを行った。

もっとみる
yutohub

yutohub

合成データを利用したLLMの開発

合成データを利用したLLMの開発

大規模言語モデル（LLM）の開発において、高品質で多様なデータセットの重要性は計り知れません。しかし、インターネットから収集されたデータには多くの問題が伴います。ノイズが多く、広告や特定の言語（特に英語）に偏りがちであり、さらにデータの量にも限界があります。これらの課題を解決するために、合成データの利用が注目されています。

合成データに関するベストプラクティスGoogle DeepMindやその

もっとみる
yutohub

yutohub

Meta Quest 3のソフトウェアアップデートv64によるパススルー機能の改善

Meta Quest 3のソフトウェアアップデートv64によるパススルー機能の改善

今回のアップデートでは、以下のような変更点がありました。今回はMeta Quest 3を使っていて感じたことを書きたいと思います。

パススルーの改善

外部マイクのサポート

Meta Quest 3を寝転がって使用

継続してミラーリング可能に

今回のアップデートで注目すべきは「パススルーの改善」です。

Meta Quest 3は、パススルー機能で多くの注目を集めています。この機能は、ユー

もっとみる
yutohub

yutohub

Meta Llama 3の紹介

Meta Llama 3の紹介

2024年4月19日にMetaは、8Bおよび70Bの事前訓練済みおよびインストラクションチューニングされた大規模言語モデル（LLM）のMeta Llama 3を開発し、リリースしました。

性能8Bおよび70BパラメータのLlama 3モデルは、Llama 2を大きく上回り、同様のパラメータ数のモデルと比較して最先端の性能を達成しています。

既存のベンチマーク

新しい評価データセット

Lla

もっとみる
yutohub

yutohub

llm-jp-evalの中身を見てみる

llm-jp-evalの中身を見てみる

llm-jp-evalが対応している8つのカテゴリ

自然言語推論（Natural Language Inference, NLI）
- Jamp, JaNLI, JNLI, JSeM, JSICK

質問応答（Question Answering, QA）
- JEMHopQA, NIILC

読解力（Reading Comprehension, RC）
- JSQuAD

多肢選択問題（Mul

もっとみる
yutohub

yutohub

Japanese MT-Benchの中身を見てみる

Japanese MT-Benchの中身を見てみる

はじめにJapanese MT-Benchには以下の8つのカテゴリーがあります。それぞれのカテゴリーにどんな質問が含まれているのか分析してみたいと思います。

coding: コーディング

extraction: 抽出

humanities: 人文科学

math: 数学

reasoning: 推論

roleplay: ロールプレイ

stem: STEM（科学、技術、工学、数学）

wr

もっとみる
yutohub

yutohub

Pythonとngrokを使ってSlack Botを作ってみる

はじめにSlackは、チームコミュニケーションとコラボレーションを目的としたビジネス向けのメッセージングアプリです。さまざまなアプリやボットを追加することで、ユーザーのニーズに合わせてカスタマイズすることが可能です。

今回はボットを作成してSlackと接続してみたいと思います。この記事では、特にBolt for Pythonを活用してサーバーを構築し、ngrokを通じてこれをSlackと接続する

もっとみる
yutohub

yutohub

最適なLLMを見つけるためのガイド

最適なLLMを見つけるためのガイド

背景近年、人間の指示に従う能力や会話能力を高めるために、教師ありファインチューニング（SFT: Supervised Fine-Tuning）や人間のフィードバックを用いた強化学習（RLHF : Reinforcement Learning from Human Feedback）を活用したLLMのチャットアシスタントが増えている。これらのモデルが人間の指示や好みに沿って調整（アラインメント）され

もっとみる
yutohub

yutohub

英語のポットキャストを日本語に吹き替えてみる

YouTubeの英語動画を見る際、日本語字幕を利用することができますが、ポッドキャストのように目を離しても楽しめるメリットを字幕では得られません。そこで、AI技術を使って動画の日本語吹き替えを作成する方法をご紹介します。この方法を使えば、動画を見ながらではなく、通勤中や家事をしながらでも英語のコンテンツを楽しむことができるようになります。

必要なのは Google Colab と OpenAI

もっとみる