オリジナルデータセットで Idefics2 のファインチューニングを試す
オリジナルデータセットで高性能なオープンVLM「Idefics2」のファインチューニングを試したので、まとめました。
前回1. Idefics2「Idefics2」は、テキストと画像を入力し、テキストを出力するマルチモーダルモデルです。画像の質問応答、視覚的コンテンツの説明、複数画像をもとに物語作成、文書からの情報抽出などを実行できます。
前回は提供されているデータセットで学習しましたが、今回はオリジナルデータセットを作って学習させてみます。
2. データセットの作成画