Koki Tanaka

自分について→https://gojiteji.com 旧ブログ→https://bl…

記事一覧

Hallucinationのモデルの内部指標として使えるALTI

言語モデルが事実では無いことを出力する問題であるHallucinationですが,それが「モデルの内部を見ると,Hallucinationがある程度わかる」,という話です.モデルの内部…

Koki Tanaka
2か月前
4

RWKVの学習の安定性について

はじめにRWKVに関して二つのブログを書いてきました(その1,その2)が,追加で学習(勾配)の安定性についても日本語で書いておこうと思います.というのも,RWKV-4の…

Koki Tanaka
3か月前
10

blog.gojiteji.com→NOTEに移行のお知らせ

hexo + Cloudflare Pagesでブログを管理していましたが,管理コストが大きくなってきたので,日本語記事はNOTE(note.com/gojiteji)に移行します.

Koki Tanaka
3か月前

Hallucinationのモデルの内部指標として使えるALTI

言語モデルが事実では無いことを出力する問題であるHallucinationですが,それが「モデルの内部を見ると,Hallucinationがある程度わかる」,という話です.モデルの内部を見たHallucinationの検出は、簡易にはSequence log probabilityが低いものを弾く,などは考えられますが,ALTI[1]ではモデル内部の挙動を追跡しており,思想が面白かったので,数式の文脈を踏まえてメモを書いておきます. [1] Measuring the M

RWKVの学習の安定性について

はじめにRWKVに関して二つのブログを書いてきました(その1,その2)が,追加で学習(勾配)の安定性についても日本語で書いておこうと思います.というのも,RWKV-4の学習では以下の画像のように,LLMでありがちなLoss Spikeが確認されなかったという実験結果があります. これがなぜそうなのか,という根拠を若干不十分な説明でありますが,Appendix Hに書いてあったので,文脈を補いながら解説します. 前準備:勾配と学習の安定性RWKVにおいて,Transfor

blog.gojiteji.com→NOTEに移行のお知らせ

hexo + Cloudflare Pagesでブログを管理していましたが,管理コストが大きくなってきたので,日本語記事はNOTE(note.com/gojiteji)に移行します.