記事一覧
アリス問題の参考画像集
以下はいわゆるアリス問題をChatBotArenaや各LLM公式サイトやPerplexityでテストした結果の画像です。 調査した結果の論評は以下のnote記事を見てください。 https://note.…
Perplexityの検索ボックスに定型文を入力できるコードを公開しました
残念ながら、Perplexityの検索のバックエンドはおそらくBingを使用(訂正Bingではなくhttps://www.reddit.com/r/LocalLLaMA/comments/1bh6o3e/reverse_engineering_perple…
アリス問題による日本語推論能力の比較
このツィートを見て、論文もざっくり確認しましたが、自分の体感とも少し異なっているため、英語ではなく日本語で、簡単に調査してみることにしました。
調査方法基本的にhttps://arena.lmsys.org/で対戦しまくることで、結果がどうなるかを確認した。いくつかは、対戦でなくダイレクトチャットで追試をした。
また、PerplexityにあるモデルはPerplexityでもテストした。
使用し
アリス問題の参考画像集
以下はいわゆるアリス問題をChatBotArenaや各LLM公式サイトやPerplexityでテストした結果の画像です。
調査した結果の論評は以下のnote記事を見てください。
https://note.com/willplion/n/n5842538dd13d
OpenAI-TranslatorでGemini1.5FlashAPIを利用して、長文でも無料で翻訳をする方法（翻訳以外にコード解説や要約、自分で作成したアクションも可能）
※OpenAI-Translatorは中国系の方が開発されているOSSであり、その点に懸念を持つ方には使用はおすすめできません。
何故翻訳アプリが必要なのか今や、ChromeやEdgeには英日翻訳機能が付いていて、翻訳性能も十二分なものになって、今更翻訳アプリなんて不要と言いきっても良いわけだが、Firefoxには英日翻訳機能はまだない。
更にいうと、まだChromeやEdgeにもpdfの翻訳機
gpt2-chatbotとGPT4-Turbo-2024-04-09をChatbotArenaで捕まえられたので、ネオチバの設定作成対決させた(創造的タスクテスト)。
幸運なことに、gpt2-chatbotとGPT4-Turbo-2024-04-09をChatbotArenaで捕まえられたので、「サイバーパンクの仮想の千葉市、ネオチバの設定を作ってください。」で設定を作らせ続けて、創造的タスクでの性能を比較してみた。
最初はそのまま作らせ続けたのだが、途中から適当に指示を追加して、性能を比較した。
指示によって、評価がひっくり返ることも合ったが、本当にギリギリ
ChatbotArenaで対戦しまくって、各LLMの日本語回答性能と特徴を調べた。Llama3とGeminiProdevが興味深かった。
LMSYS Chatbot Arena: Benchmarking LLMs in the Wildは、オープンソースで人間がLLMの勝ち負けを評価する研究で、現在40種類のLLMのうち、2つのLLMが一定の基準(得点が定まったものは選ばれにくくなるなど)で選ばれて、その出力結果を人間がAとBのLLMの名前が伏せられた状態で、どちらが優れているかを評価するテストです。
その結果もリンク先のLead
ChatbotArenaの対戦画像集
各項目の一番下にあるPerplexityのリンクは、各質問をClaude3-Opusにしたものですので、参考にしてください。
本編はこちらです。
ChatbotArenaで対戦しまくって、各LLMの日本語回答性能と特徴を調べた。Llama3とGeminiProdevが興味深かった。
1:「銀河英雄伝説について、日本語で詳しく教えて下さい。」https://www.perplexity.ai/se
11種のLLMでのPythonコード生成（ダイスアプリ作成）の簡易テストをしました。
様々なコード生成専用のものも含めて、自分の使用可能な範囲のLLMを使用し、簡単なダイスアプリを作らせることで、実際の簡単なコード生成がどの程度できるか調査してみました。
題材が簡単すぎたせいか、どれも作成自体は成功しました(codellama-70b-instructのみ、一部機能が保存場所の指示を聞いてくれなかったのですが、使う人ももはやいないLLMなので、粘らずにテストを終了しました)が、ゆら
bartimerというタイマーとインターバルタイマーがバーの増加で経過時間がわかりやすいアプリ(exe版もあり)をGithubで公開しました。
bartimerというタイマーとインターバルタイマーがバーの増加で経過時間がわかりやすいアプリ(exe版もあり)をClaude3-OpusとGPT4-Turboを使用して、ところどころ修正して作成しました。
配布はhttps://github.com/willailora/bartimerで行っています。
特徴bartimer は、カスタマイズ可能なタイマーとインターバルタイマー機能を備えた
llama.cppのserver.exeに起動オプションを送って起動できるPythonコードを公開しました。
残念ながら、2024年4月6日時点のKoboldcppではc4ai-command-r-v01-GGUFが起動できないので、llama.cppで起動するしか無いのですが、cuiで動かすのは嫌なので、server.exeでブラウザーで遊ぶわけですが、いちいち起動因数を付けてコマンドプロンプトなどにコピペするのも面倒なので、Claude3-Opusと相談しながら、簡単にするコードを作成しました。
追記
Koboldcpp用pngメタデータ編集コード公開しました
GUI付きでKoboldcppにインポート可能なchub.aiとPygmalionAIのダウンロードしたキャラクターのPNGファイルのメタデータを編集できて保存ができるコードを作成しました。
一応、既存のでないかは探したのですが、長期間メンテされてないソフトしかありませんでしたので、Claude3-Opusと相談しながらコードを生成しました。Koboldcppに編集機能がついていれば、こんな
PerplexityのProSearchなどの日本語変換の確定でクエリが送信される問題を解決するユーザースクリプトの公開(ホームでたまに送信される問題が発生してるようなので、再度対応)
@toshikawaさんが、labs.Perplexityでの日本語入力問題を解決するコードを作成してくれました！
Labs.perplexity.aiでの日本語入力中のEnterで送信されないようにする。
自分がClaude3-Opusと相談しながらやっても、だんだん変な方向に行ってReactの問題か？みたいになって解決できなかったので、助かりましたm(_ _)m
Claude3-Opusに
Claudeに定型文挿入ボタンを追加するユーザースクリプトを公開しました
Claude本家サイトのChatに定型文挿入のボタンを追加するユーザースクリプトを公開しました。基本はClaude3-Opusに作成してもらって、動作しなかったので私が適宜修正しました。
使用方法 アドオンとしてまず、TamperMonkeyやGreasemonkeyなど、ユーザースクリプトを使用できるアドオンが必要となります。
このコードには問題ないことは確認していますが、セキュリティ上の
Perplexityの検索ボックスに定型文を入力できるコードを公開しました
残念ながら、Perplexityの検索のバックエンドはおそらくBingを使用(訂正Bingではなくhttps://www.reddit.com/r/LocalLLaMA/comments/1bh6o3e/reverse_engineering_perplexity/によると、Googleのもののようです。普段DuckDuckGo使用しているので、気づきませんでした)していて、日本語の検索だとかな
もっとみる