- 運営しているクリエイター
#人工知能
人格のコンピュータ再構成
中学の話で思い出したが、中学の頃、NHKでやっていた「未来テレビ ネットワーク23」という番組があった。
これは英語圏では「マックス・ヘッドルーム」として知られる作品で、「20分後の未来」の世界を舞台に、テレビリポーターやハッカー、プログラマーが活躍する心踊るサイパーパンクドラマだった。
僕はこの作品が大好きで、自分の今の生き方のお手本になったと言ってもいい。
この物語の主人公、エディスン・
nanoGPTにおける進化計算の実験 / 進化計算はハイパーパラメータチューニングにも有効だった
AIサイエンティストに投げるため、進化計算(Evolutional Computing)をnanoGPTのハイパーパラメータチューニングに適用してみることにした。
極めていい加減な気持ちで書いたため、これで上手くいくのか我ながら疑問だったが、結論から言うと有効だった。
まず、どんないい加減なコードで進化計算をしたのか書く。
本来はDNAを定義して、DNAからプログラムを生成するコードを書くべき
Google Colab + trlx で OpenCALM のRLHFファインチューニングを練習する
「Google Colab」で「OpenCALM」のRLHFファインチューニングを練習したので、記録を残します。
1. trlx「trlx」は、RLHFによる言語モデルの分散学習のリポジトリです。rinnaの強化学習も「trlx」で学習しています。
2. 学習内容「ベースモデル」は、「cyberagent/open-calm-large」を使います。
「報酬モデル」は、感情分析モデル「lxy
Huggingface Transformers 入門 (36) -AutoNLP
「AutoNLP」について、軽くまとめました。
前回1. AutoNLP「AutoNLP」は、最先端のNLPモデルの学習、評価、デプロイを自動的に行うことができるサービスです。学習データをクラウドにアップロードするだけで、ファインチューニングしたNLPモデルをすぐにデプロイすることができます。Huggingfaceのベータプロジェクトになります。
特徴は、次のとおりです。
サポートしているタ