【AI】BERTの応用モデルでクレジットカードの不正利用検知をおこなう② ~環境構築・事前学習~

はじめにこんにちは、エンジニアのすずきです。 2022年8月からAI関連の仕事をしており、BERTという自然言語処理モデルについて勉強しています。 最近は、多変量の時系列表データの学習に使用する、TabBERT(Hierarchical Tabular BERT)というBERTの応用モデルに関する論文を読みました(紹介記事も書きました)。 この論文、なんとありがたいことに、著者が事前学習のコードとデータをGitHubにあげています。 環境構築やモデル学習の経験を積むこ