ailora will

LLM・画像生成AIほか生成AI全般に興味あり。たまに検証とかします。作ったコードと…

アリス問題による日本語推論能力の比較

このツィートを見て、論文もざっくり確認しましたが、自分の体感とも少し異なっているため、英語ではなく日本語で、簡単に調査してみることにしました。調査方法基本的にhttps://arena.lmsys.org/で対戦しまくることで、結果がどうなるかを確認した。いくつかは、対戦でなくダイレクトチャットで追試をした。また、PerplexityにあるモデルはPerplexityでもテストした。使用したプロンプトは「女の子のアリスには4人の兄弟と1人の姉妹がいます。アリスの兄弟に

アリス問題の参考画像集

以下はいわゆるアリス問題をChatBotArenaや各LLM公式サイトやPerplexityでテストした結果の画像です。調査した結果の論評は以下のnote記事を見てください。 https://note.com/willplion/n/n5842538dd13d

ailora will

3週間前

1
中国製LLMのライセンス問題と国安法について

Qwenを始め、YiやDeepSeekや先日話題になったGLMなどの中国製モデルは急速に日本語能力を高めています。そのため、利用したり、オープンソースだから大丈夫だと深く考えずに商用利用してしまうこともあるかも知れません。ただし、これらのモデルを利用する場合、法の管轄権が中国であることが明示されていたり、独自ライセンスを提示している場合があります。追記：2024/06/07　間の悪い話ですが、Qwen2の72Bサイズ以外のQwen2軽モデルはapache2.0ライセンス

ailora will

3週間前

3
ChatGPT-Next-WebでGemini1.5-Flashを活用する(画像アップロードにも対応)

Gemini1.5-FlashをChatでただ使うなら、本家のAIStudioで良いちゃ良いのですが、自動で保存されなかったり、システムプロンプトも毎回自分でいれる必要があったりとちょっと面倒です。そこで、もっと便利なの無いかと探したのですが、Geminiにそもそも対応してなかったり、Windowsでは動かないのだったり、GeminiProにしか対応してないとか、そういうのばかりだったのですが、このChatGPT-Next-WebはReleaseされているexe版では、まだ

ailora will

3週間前

3

アリス問題による日本語推論能力の比較

ailora will

3週間前

アリス問題の参考画像集

1

ailora will

3週間前
中国製LLMのライセンス問題と国安法について

3

ailora will

3週間前
ChatGPT-Next-WebでGemini1.5-Flashを活用する(画像アップロードにも対応)

3

ailora will

3週間前

OpenAI-TranslatorでGemini1.5FlashAPIを利用して、長文でも無料で翻訳をする方法（翻訳以外にコード解説や要約、自分で作成したアクションも可能）

※OpenAI-Translatorは中国系の方が開発されているOSSであり、その点に懸念を持つ方には使用はおすすめできません。何故翻訳アプリが必要なのか今や、ChromeやEdgeには英日翻訳機能が付いていて、翻訳性能も十二分なものになって、今更翻訳アプリなんて不要と言いきっても良いわけだが、Firefoxには英日翻訳機能はまだない。更にいうと、まだChromeやEdgeにもpdfの翻訳機能はないため、役立つ余地はあるといえる。様々な翻訳apiなどもあるわけですが、

ailora will

1か月前

15
OpenAI-TranslatorでGemini1.5FlashAPIを利用して、長文でも無料で翻訳をする方法（翻訳以外にコード解説や要約、自分で作成したアクションも可能）

15

ailora will

1か月前
gpt2-chatbotとGPT4-Turbo-2024-04-09をChatbotArenaで捕まえられたので、ネオチバの設定作成対決させた(創造的タスクテスト)。

幸運なことに、gpt2-chatbotとGPT4-Turbo-2024-04-09をChatbotArenaで捕まえられたので、「サイバーパンクの仮想の千葉市、ネオチバの設定を作ってください。」で設定を作らせ続けて、創造的タスクでの性能を比較してみた。最初はそのまま作らせ続けたのだが、途中から適当に指示を追加して、性能を比較した。指示によって、評価がひっくり返ることも合ったが、本当にギリギリの僅差で、個人的にはgpt2-chatbotの勝利だと感じた。なお、19回目の

ailora will

2か月前

13
gpt2-chatbotとGPT4-Turbo-2024-04-09をChatbotArenaで捕まえられたので、ネオチバの設定作成対決させた(創造的タスクテスト)。

13

ailora will

2か月前
ChatbotArenaで対戦しまくって、各LLMの日本語回答性能と特徴を調べた。Llama3とGeminiProdevが興味深かった。

LMSYS Chatbot Arena: Benchmarking LLMs in the Wildは、オープンソースで人間がLLMの勝ち負けを評価する研究で、現在40種類のLLMのうち、2つのLLMが一定の基準(得点が定まったものは選ばれにくくなるなど)で選ばれて、その出力結果を人間がAとBのLLMの名前が伏せられた状態で、どちらが優れているかを評価するテストです。その結果もリンク先のLeaderBoardタブから閲覧することが出来ます。調査方法今回の目的は、主にLl

ailora will

2か月前

9
ChatbotArenaで対戦しまくって、各LLMの日本語回答性能と特徴を調べた。Llama3とGeminiProdevが興味深かった。

9

ailora will

2か月前
ChatbotArenaの対戦画像集

各項目の一番下にあるPerplexityのリンクは、各質問をClaude3-Opusにしたものですので、参考にしてください。本編はこちらです。 ChatbotArenaで対戦しまくって、各LLMの日本語回答性能と特徴を調べた。Llama3とGeminiProdevが興味深かった。 1:「銀河英雄伝説について、日本語で詳しく教えて下さい。」https://www.perplexity.ai/search/7u2U31n1SaKcqbapPR3Ouw 2:「ナーロッパと言わ

ailora will

2か月前

2
ChatbotArenaの対戦画像集

2

ailora will

2か月前
11種のLLMでのPythonコード生成（ダイスアプリ作成）の簡易テストをしました。

様々なコード生成専用のものも含めて、自分の使用可能な範囲のLLMを使用し、簡単なダイスアプリを作らせることで、実際の簡単なコード生成がどの程度できるか調査してみました。題材が簡単すぎたせいか、どれも作成自体は成功しました(codellama-70b-instructのみ、一部機能が保存場所の指示を聞いてくれなかったのですが、使う人ももはやいないLLMなので、粘らずにテストを終了しました)が、ゆらぎの範囲かもしれませんが、細かい違いはありました。追記:2024/04/18、

ailora will

2か月前

7
11種のLLMでのPythonコード生成（ダイスアプリ作成）の簡易テストをしました。

7

ailora will

2か月前
bartimerというタイマーとインターバルタイマーがバーの増加で経過時間がわかりやすいアプリ(exe版もあり)をGithubで公開しました。

　bartimerというタイマーとインターバルタイマーがバーの増加で経過時間がわかりやすいアプリ(exe版もあり)をClaude3-OpusとGPT4-Turboを使用して、ところどころ修正して作成しました。配布はhttps://github.com/willailora/bartimerで行っています。特徴bartimer は、カスタマイズ可能なタイマーとインターバルタイマー機能を備えたシンプルで使いやすいデスクトップアプリケーションです。カスタマイズ可能なタイ

ailora will

2か月前

2
bartimerというタイマーとインターバルタイマーがバーの増加で経過時間がわかりやすいアプリ(exe版もあり)をGithubで公開しました。

2

ailora will

2か月前
CommandR+量子化の簡易比較テスト(dranger氏のtxtを使用)追記ローカルでのiq1_sテスト

　CommandR+の量子化を作成してくれたdranger氏が各量子化ごとでの出力結果のtxtを公開してくれました。　同じシード、温度は0の設定で、「Write an essay about AI in the style of a senior PhD researcher in artificial intelligence without any mention of your identity as an AI researcher.」という指示での応答をまとめたも

ailora will

2か月前

3
CommandR+量子化の簡易比較テスト(dranger氏のtxtを使用)追記ローカルでのiq1_sテスト

3

ailora will

2か月前
llama.cppのserver.exeに起動オプションを送って起動できるPythonコードを公開しました。

残念ながら、2024年4月6日時点のKoboldcppではc4ai-command-r-v01-GGUFが起動できないので、llama.cppで起動するしか無いのですが、cuiで動かすのは嫌なので、server.exeでブラウザーで遊ぶわけですが、いちいち起動因数を付けてコマンドプロンプトなどにコピペするのも面倒なので、Claude3-Opusと相談しながら、簡単にするコードを作成しました。追記:githubにpyqt5版とともにtkinter版を公開したので、pyqt5追

ailora will

2か月前

4
llama.cppのserver.exeに起動オプションを送って起動できるPythonコードを公開しました。

4

ailora will

2か月前
Koboldcpp用pngメタデータ編集コード公開しました

　GUI付きでKoboldcppにインポート可能なchub.aiとPygmalionAIのダウンロードしたキャラクターのPNGファイルのメタデータを編集できて保存ができるコードを作成しました。　一応、既存のでないかは探したのですが、長期間メンテされてないソフトしかありませんでしたので、Claude3-Opusと相談しながらコードを生成しました。Koboldcppに編集機能がついていれば、こんなコード不要だったのですが… 必須環境　前提として、Pythonがインストールさ

ailora will

2か月前
Koboldcpp用pngメタデータ編集コード公開しました

ailora will

2か月前
PerplexityのProSearchなどの日本語変換の確定でクエリが送信される問題を解決するユーザースクリプトの公開(ホームでたまに送信される問題が発生してるようなので、再度対応)

@toshikawaさんが、labs.Perplexityでの日本語入力問題を解決するコードを作成してくれました！ Labs.perplexity.aiでの日本語入力中のEnterで送信されないようにする。自分がClaude3-Opusと相談しながらやっても、だんだん変な方向に行ってReactの問題か？みたいになって解決できなかったので、助かりましたm(_ _)m 　Claude3-Opusに名誉挽回させようと思って、クエリの返還とProSearchでの追加質問でもEnt

ailora will

2か月前

4
PerplexityのProSearchなどの日本語変換の確定でクエリが送信される問題を解決するユーザースクリプトの公開(ホームでたまに送信される問題が発生してるようなので、再度対応)

4

ailora will

2か月前
Claudeに定型文挿入ボタンを追加するユーザースクリプトを公開しました

　Claude本家サイトのChatに定型文挿入のボタンを追加するユーザースクリプトを公開しました。基本はClaude3-Opusに作成してもらって、動作しなかったので私が適宜修正しました。使用方法　アドオンとしてまず、TamperMonkeyやGreasemonkeyなど、ユーザースクリプトを使用できるアドオンが必要となります。　このコードには問題ないことは確認していますが、セキュリティ上の問題を発生させることも出来るアドオンですので、自己責任でご利用ください。 Ta

ailora will

3か月前

2
Claudeに定型文挿入ボタンを追加するユーザースクリプトを公開しました

2

ailora will

3か月前
Perplexityの検索ボックスに定型文を入力できるコードを公開しました

　残念ながら、Perplexityの検索のバックエンドはおそらくBingを使用(訂正Bingではなくhttps://www.reddit.com/r/LocalLLaMA/comments/1bh6o3e/reverse_engineering_perplexity/によると、Googleのもののようです。普段DuckDuckGo使用しているので、気づきませんでした)していて、日本語の検索だとかなり低品質な情報が羅列されたページが中心となってしまいます。そのため、よく英語のペ

ailora will

3か月前

2
Perplexityの検索ボックスに定型文を入力できるコードを公開しました

2

ailora will

3か月前

最近の記事

アリス問題による日本語推論能力の比較

アリス問題の参考画像集

中国製LLMのライセンス問題と国安法について

ChatGPT-Next-WebでGemini1.5-Flashを活用する(画像アップロードにも対応)

アリス問題による日本語推論能力の比較

アリス問題の参考画像集

中国製LLMのライセンス問題と国安法について

ChatGPT-Next-WebでGemini1.5-Flashを活用する(画像アップロードにも対応)

OpenAI-TranslatorでGemini1.5FlashAPIを利用して、長文でも無料で翻訳をする方法（翻訳以外にコード解説や要約、自分で作成したアクションも可能）

OpenAI-TranslatorでGemini1.5FlashAPIを利用して、長文でも無料で翻訳をする方法（翻訳以外にコード解説や要約、自分で作成したアクションも可能）

gpt2-chatbotとGPT4-Turbo-2024-04-09をChatbotArenaで捕まえられたので、ネオチバの設定作成対決させた(創造的タスクテスト)。

gpt2-chatbotとGPT4-Turbo-2024-04-09をChatbotArenaで捕まえられたので、ネオチバの設定作成対決させた(創造的タスクテスト)。

ChatbotArenaで対戦しまくって、各LLMの日本語回答性能と特徴を調べた。Llama3とGeminiProdevが興味深かった。

ChatbotArenaで対戦しまくって、各LLMの日本語回答性能と特徴を調べた。Llama3とGeminiProdevが興味深かった。

ChatbotArenaの対戦画像集

ChatbotArenaの対戦画像集

11種のLLMでのPythonコード生成（ダイスアプリ作成）の簡易テストをしました。

11種のLLMでのPythonコード生成（ダイスアプリ作成）の簡易テストをしました。

bartimerというタイマーとインターバルタイマーがバーの増加で経過時間がわかりやすいアプリ(exe版もあり)をGithubで公開しました。

bartimerというタイマーとインターバルタイマーがバーの増加で経過時間がわかりやすいアプリ(exe版もあり)をGithubで公開しました。

CommandR+量子化の簡易比較テスト(dranger氏のtxtを使用)追記ローカルでのiq1_sテスト

CommandR+量子化の簡易比較テスト(dranger氏のtxtを使用)追記ローカルでのiq1_sテスト

llama.cppのserver.exeに起動オプションを送って起動できるPythonコードを公開しました。

llama.cppのserver.exeに起動オプションを送って起動できるPythonコードを公開しました。

Koboldcpp用pngメタデータ編集コード公開しました

Koboldcpp用pngメタデータ編集コード公開しました

PerplexityのProSearchなどの日本語変換の確定でクエリが送信される問題を解決するユーザースクリプトの公開(ホームでたまに送信される問題が発生してるようなので、再度対応)

PerplexityのProSearchなどの日本語変換の確定でクエリが送信される問題を解決するユーザースクリプトの公開(ホームでたまに送信される問題が発生してるようなので、再度対応)

Claudeに定型文挿入ボタンを追加するユーザースクリプトを公開しました

Claudeに定型文挿入ボタンを追加するユーザースクリプトを公開しました

Perplexityの検索ボックスに定型文を入力できるコードを公開しました

Perplexityの検索ボックスに定型文を入力できるコードを公開しました