Koki Tanaka

自分について→https://gojiteji.com 旧ブログ→https://bl…

Koki Tanaka

自分について→https://gojiteji.com 旧ブログ→https://blog.gojiteji.com 👕→https://suzuri.jp/gojiteji

Hallucinationのモデルの内部指標として使えるALTI

言語モデルが事実では無いことを出力する問題であるHallucinationですが，それが「モデルの内部を見ると，Hallucinationがある程度わかる」，という話です．モデルの内部を見たHallucinationの検出は、簡易にはSequence log probabilityが低いものを弾く，などは考えられますが，ALTI[1]ではモデル内部の挙動を追跡しており，思想が面白かったので，数式の文脈を踏まえてメモを書いておきます． [1] Measuring the M

Koki Tanaka

    • RWKVの学習の安定性について

      はじめにRWKVに関して二つのブログを書いてきました（その１，その２）が，追加で学習（勾配）の安定性についても日本語で書いておこうと思います．というのも，RWKV-4の学習では以下の画像のように，LLMでありがちなLoss Spikeが確認されなかったという実験結果があります． これがなぜそうなのか，という根拠を若干不十分な説明でありますが，Appendix Hに書いてあったので，文脈を補いながら解説します． 前準備：勾配と学習の安定性RWKVにおいて，Transfor

      Koki Tanaka

      • blog.gojiteji.com→NOTEに移行のお知らせ

        hexo + Cloudflare Pagesでブログを管理していましたが，管理コストが大きくなってきたので，日本語記事はNOTE（note.com/gojiteji）に移行します．

        Koki Tanaka

      Hallucinationのモデルの内部指標として使えるALTI

      Koki Tanaka