マガジンのカバー画像

OPTEMOエンジニアブログ

31
エンジニアメンバーのブログをまとめています。
運営しているクリエイター

#anaconda

SageMaker Training JobsでBERTの応用モデルの事前学習をためしてみる

こんにちは、エンジニアのすずきです。 以前の記事で、TabBERTモデル(IBM論文の付属コード)の環境構築と学習(事前学習、Fine-Tuning)をEC2上で行いました。 動作確認くらいであればこれで問題なかったのですが、いざ本番運用を考えてみると、以下のような問題がありそうでした。 学習中以外の時間にかかるEC2のコスト 推論環境を別途たてることになったときの環境再構築コスト 入出力データの管理の手間 調べてみたところ、Amazon SageMakerというAW

【AI】BERTの応用モデルでクレジットカードの不正利用検知をおこなう③ ~Fine-Tuning~

はじめにこんにちは、エンジニアのすずきです。 最近、多変量の時系列表データの学習に使用する、TabBERT(Hierarchical Tabular BERT)というBERTの応用モデルに関する論文を読み、付属コードで事前学習まで行いました。 ただ、付属コードだと事前学習までしか行えなかったため、さらなる理解のために、Fine-Tuningと分類タスクについては自分で実装してみることにしました。 前回までの記事については、以下をご覧ください。 コード解説以前の記事から繰

【AI】BERTの応用モデルでクレジットカードの不正利用検知をおこなう② ~環境構築・事前学習~

はじめにこんにちは、エンジニアのすずきです。 2022年8月からAI関連の仕事をしており、BERTという自然言語処理モデルについて勉強しています。 最近は、多変量の時系列表データの学習に使用する、TabBERT(Hierarchical Tabular BERT)というBERTの応用モデルに関する論文を読みました(紹介記事も書きました)。 この論文、なんとありがたいことに、著者が事前学習のコードとデータをGitHubにあげています。 環境構築やモデル学習の経験を積むこ