if001

強化学習、ニューラルネットワーク、機械学習、自然言語、 python、golang、 …

if001

強化学習、ニューラルネットワーク、機械学習、自然言語、 python、golang、 scala、angular、react、 emacs 読書/推理小説/アガサクリスティ、 江戸川乱歩、 森博嗣、 綾辻行人

xgenでJGLUEを試す

日本語ベンチマークとしてJGLUE(JP Language Model Evaluation Harness)が提案されている。 以下のリポジトリで簡単に試せそうだったので試してみる。 xgenをqloraさせたので、他の日本語モデルと比較してみる xgen-7b-8k-baseをdolly-jaで学習 (https://huggingface.co/Salesforce/xgen-7b-8k-base) JGLUEでxgenを使う際にはtokenizer.from_

if001

    • local llmでsentence embeddingどれ使えば良いんだっけ

      最近の日本語喋れるLLMでそのままsentence embeddingしても良いんだっけ？そもそもどうやってsentence embeddingしてるんだっけ？と思っていたので調べてみた。 単語単位のembeding実装はsentence tranfomerが参考になる。 sentence transfomerでない場合やbertのclsトークンを持たない場合は、単語embeddingを足し合わせて、単語列の長さで平均をとるmean_poolingがよく使われる手法らしい

      if001

      • CTranslate2でrinna instructionをquantizeして動かす

        これまでquantizeはllama.cppを使っていたが、GPUを使えなかったのでCTranslate2を使ってみた。 CTranslate2はtransfomer modelのメモリを削減、高速化を行うライブラリ C++で実装されており、pythonからC++を呼び出している。document通りinstallすると、GPUも利用してくれる。 いろんなモデルが対応している install-and-usageinstall pip install ctransla

        if001

        • OpenCALM-7Bをloraで学習して、quantizeするまで

          cyberagent/open-calm-7b をLoraを用いて学習し、quantizeするまでやっていきます (とりあえず動作確認まで、検証はこれから) (間違ってそうなところはツッコミお願いします) gpt-neoxのlora weight mergeの記事が見つからなかったのでメモとして 動作環境はcolab T4 ハイメモリ lora学習rinnaと同様に、gpt-neoxベースなので、以下を使ってfinetuningしていく。 templateをそれっぽ

          if001

        xgenでJGLUEを試す

        if001

        • local llmでsentence embeddingどれ使えば良いんだっけ

          if001

        • CTranslate2でrinna instructionをquantizeして動かす

          if001

        • OpenCALM-7Bをloraで学習して、quantizeするまで

          if001

          rinna 3Bをcppで動かす

          rinnaをcppで動かせるように色々試して見ました。 instructionもあり、そのままlangchainなどに突っ込んでも動かせそうです。 ローカルで色々試したいのでcppしようと試してみました。 実行環境は、colab T4 ハイメモリ コード的な動作をさせただけです。 量子化はあまり追いつけてないので、色々と間違っていればツッコミお願いします。 調査以下で中身を確認 from transformers import AutoModelForCausalLM

          if001

          rinna 3Bをcppで動かす

          if001

          VicunaでReActっぽいことを試してみる

          はじめにローカル環境でVicunaを動かしReActっぽいことを試してみる。正確には違うので注意 ReActは、Thought、Action、Observationをループさせ、LLMの出力の精度上げる手法 ReActの処理の流れは以下のような形。 与えられた質問(Question)に対し、 Thoughtで質問をどのように解決するかの思考を行い、 Actionでツールを選択する 選択したツールを実行し、その結果をObservationとして受け取る 更にTho

          if001

          VicunaでReActっぽいことを試してみる

          if001