RWKVを公開データ＋社内データでファインチューニングしてみた
ファインディ株式会社で機械学習エンジニアをしています、笹野です。
ChatGPT発表以降LLMに注目が集まり、手元のマシンでも動くようなLLMも数多く登場し、これらに関する記事も散見されるようになってきています。
情報を仕入れる目的で様々な記事や文献に目を通しますが、オープンデータでのファインチューニング記事は多数公開されています。一方で、元々社内・組織内に蓄積されたデータを使ってファインチューニングされたモデルの精度に言及する記事は、観測している範囲では見つけられていませ
