ぬこぬこ

LLM たのしい！！！一緒にしよ？❤️

ぬこぬこ

LLM たのしい！！！一緒にしよ？❤️
  • 固定された記事

いちばんやさしいローカル LLM

概要ローカル LLM 初めましての方でも動かせるチュートリアル 最近の公開されている大規模言語モデルの性能向上がすごい Ollama を使えば簡単に LLM をローカル環境で動かせる Enchanted や Open WebUI を使えばローカル LLM を ChatGPT を使う感覚で使うことができる quantkit を使えば簡単に LLM を量子化でき、ローカルでも実行可能なサイズに小さくできる 1. はじめに大規模言語モデル（LLM）の数は数年前と比べてたく

ぬこぬこ

    • DeepSeek-V2.5 を試す

      tl;drDeepSeek-V2.5 は 236B / Active Parameter 21B の MoE Hugging Face にてモデルは公開、Web と API からも利用可能 Function Calling、FIM (Fill In the Middle)、Json Output に対応 公式のウェブ版で性能を確かめる Ollama を使って推論させてみる DeepSeek-V2.5 とはDeepSeek-V2-Chat と DeepSeek-Cod

      ぬこぬこ

      • macOS の Bluetooth の設定を ssh 接続経由でオンにする

        tl;drssh 接続ができるのであれば Bluetooth をオンにすることは可能 Homebrew より blueutil をインストール＆コマンドを叩くだけ 状況Magic Mouse / Magic Keyboard 接続中のデスクトップ Mac にて、間違えて Bluetooth をオフにしてしまった。有線接続のできるキーボードやマウスは非所持。ssh 接続を Macbook Air から設定済み。 解決策Terminal.app あるいはお好きなターミナルエ

        ぬこぬこ

        • Reflection Llama-3.1 70B を試す

          tl;drReflection Llama-3.1 70B がオープン LLM の中で世界最高性能を謳う Llama 3.1 70B を Reflection-Tuning を用いて事後学習 <output> / <thinking> / (reflection) などのタグを用いて推論 Ollama を使って推論させてみる Reflection Llama-3.1 70B とはHyperWrite の CEO Matt Shumer 氏の公開した Llama 3.

          ぬこぬこ
        • 固定された記事

        いちばんやさしいローカル LLM

        ぬこぬこ

          日本語の高性能な文埋め込みモデルを試す

          tl;drPKSHA Technologies の矢野さんから GLuCoSE v2 とRoSEtta が公開 名古屋大学の塚越さんから Ruri が公開（合わせて Reranker も） モデルを動かすサンプルコードの実行手順とそれぞれのモデルを試せるデモアプリケーションを本記事最下部に記載、公開 使用するモデル我流で紹介するより引用の方がわかりやすいので引用させてください。いずれのモデルも商用利用可能なライセンスで公開されています。それぞれの（主たる？）開発者の方の

          ぬこぬこ

          日本語の高性能な文埋め込みモデルを試す

          ぬこぬこ

          GPT-4o のファインチューニング

          tl;drOpenAI のファインチューニングモデルに GPT-4o が追加 2024/9/23 までは一日 100 万トークン分は無料でファインチューニングできる（GPT-4o-mini は一日 200 万トークンまで） 以降の価格は 100 万トークンあたり学習に 25 ドル、推論（入力）に 3.75 ドル、推論（出力）に 15ドル ファインチューニングによりレスポンスの構造や会話のトーンのカスタマイズ、ドメイン固有の指示（たとえばコーディング、クリエイティブ）など

          ぬこぬこ

          GPT-4o のファインチューニング

          ぬこぬこ

          オープンウェイト LLM のための改ざん耐性のある安全策：TAR メソッドの紹介

          大規模言語モデル（LLM）の急速な発展に伴い、これらの強力な AI システムの悪用を防ぐ方法が喫緊の課題となっています。特に、モデルの重みが公開されているオープンウェイト LLM は、既存の安全策が簡単に無効化されてしまう可能性があり、新たなアプローチが必要とされています。 この課題に取り組むため、研究者たちは「TAR（Tampering Attack Resistance）」と呼ばれる新しい手法を開発しました。TAR は、オープンウェイト LLM に改ざん耐性のある安全策

          ぬこぬこ

          オープンウェイト LLM のための改ざん耐性のある安全策：TAR メソッドの紹介

          ぬこぬこ

          xcodes / Xcode.app で Xcode のバージョン管理

          tl;drxcodes でコマンドだけで Xcode のバージョン管理ができる Xcode.app でぽちぽち Xcode のバージョン管理ができる インストールHomebrew 経由でインストールしてください。 ## CLI で使いたい方brew install xcodes## GUI で使いたい方brew install --cask xcodes もしまだ Homebrew をインストールしていない方はこちらからインストールしてください。いろんなコマンドやアプ

          ぬこぬこ

          xcodes / Xcode.app で Xcode のバージョン管理

          ぬこぬこ

          Stripe アカウントの復旧方法

          tl;dr基本的には公式のサポートページの案内通りに辿れば復旧できる どうしてもサインインできない時はこちら↓から問い合わせましょう！ 日本語でも対応いただける…ありがたい… 状況電話番号による二段階認証を以前設定したが電話番号を変更した バックアップコードは紛失した リカバリーフォームに案内のあるふたつの方法のいずれも申請が通らない 解決策①：バックアップコードを探す二段階認証設定時に保存したであろうバックアップコードを見つけてサインイン。 解決策②：アカウン

          ぬこぬこ

          Stripe アカウントの復旧方法

          ぬこぬこ

          OrbStack についてまとめてみる

          tl;drOrbStack は macOS 向けの軽量・高効率な Docker Desktop 代替ツール 主な特徴：高速パフォーマンス、低リソース使用、シームレスな開発環境統合 macOS 12.3 以降で利用可能、インストールは公式サイトからダウンロードして簡単に設定 CLI ベースの操作で、コンテナと仮想マシンの管理が容易 Docker Desktop と比較して起動が速く、リソース使用量が少ない 開発環境構築、テスト環境構築、本番環境シミュレーションに適して

          ぬこぬこ

          OrbStack についてまとめてみる

          ぬこぬこ

          Hugging Face ZeroGPU のチュートリアル

          tl;drHugging Face に月に 9 ドルお布施すると ZeroGPU が使えるよ！ ZeroGPU は Hugging Face Spaces にて最大 120 秒間 A100 が使えるという代物だよ！ 通常はホスティングに時間単価で課金が発生するから安心だね！ ちょっとしたモデルの推論サーバとして重宝するよ！ ZeroGPU とはなにかHugging Face Spaces で追加のコストなく GPU を使える代物。 この記事の読者の多くは、大規模言語

          ぬこぬこ

          Hugging Face ZeroGPU のチュートリアル

          ぬこぬこ

          忙しい方向け OpenAI 発表まとめ

          tl;drGPT-4o：モデルの性能↑速度↑価格↓（o は omni の頭文字） 文章、音声、画像すべての能力がアプデ 入力：文章、音声、画像、動画（フレーム） 出力：文章、音声、画像、3D モデル 音声対話中に割り込み可、応答速度↑（話す速度も変更可） MacOS デスクトップアプリが登場（Windows は今年後半） ショートカットキー（Option + Space）より呼び出して質問 音声で対話できるように（将来的には音声・動画入力可能に） MacOS

          ぬこぬこ

          忙しい方向け OpenAI 発表まとめ

          ぬこぬこ

          MacOS で Flask を立ち上げている時の Port 5000 is in use by another program. の解決策

          tl;drFlask 実行時に他に何も立ち上げていないのに 5000 番ポートが使えない Mac だと AirPlay Receiver が当該ポートを使うため、この機能をオフに 何が起こったか$ rye run python app.py * Serving Flask app 'app' * Debug mode: onAddress already in usePort 5000 is in use by another program. Either identi

          ぬこぬこ

          MacOS で Flask を立ち上げている時の Port 5000 is in use by another program. の解決策

          ぬこぬこ

          docx ファイルを pdf に変換する

          tl;drMacOS で docx → PDF を CLI でできるよ！ 新しい話ではないよ！ 超簡単brew install --cask libreoffice soffice --headless --convert-to pdf target_file.docx 以上。 ハマりポイントコマンドラインからも Python からも動作しませんでした…Apple Script で動いているので、Sonoma になってから互換性がなくなった？

          ぬこぬこ

          docx ファイルを pdf に変換する

          ぬこぬこ

          GPT-3.5 を超えると噂のモデル blue-lizard を Ollama x Enchanted で動かす

          tl;drOllama かわいい Enchanted かわいい blue-lizard つよい チュートリアル形式でまとめたので、良かったら動かしてみてね 登場人物ひとことまとめOllama オープンソースのローカル LLM をインストール、実行するコマンドラインツール Enchanted Ollama に対応したローカル LLM を実行できる Apple デバイス用の GUI アプリケーション blue-lizard Llama 2 7B に追加事前学習

          ぬこぬこ

          GPT-3.5 を超えると噂のモデル blue-lizard を Ollama x Enchanted で動かす

          ぬこぬこ

          GPTs のプロンプトリーキング対策

          ⚠️この記事を読んで得られる情報は、プロンプトリーキングに対する具体的な対策手法のみです。よく知られているプロンプトリーキング手法は既知の情報として一部掲載しますが、詳細な手法については言及しません。完全な対策は不可能という前提で「仮にすべてインターネットに流していいという情報」のみを Instruction プロンプトに記入＆ファイルのアップロードをしてください。すぐ陳腐化する可能性があるので、適宜更新していきます。 ⚠️また、この記事の情報を知った上で、どなたかの GP

          ぬこぬこ

          GPTs のプロンプトリーキング対策

          ぬこぬこ