マガジンのカバー画像

AI関連

14
AI関連の記事です。
運営しているクリエイター

記事一覧

トレーニング環境をAWS SageMakerからGCP Vertex AIへ移行したよ

こんにちは、すずきです。 以前、モデルのトレーニングにAWSのSageMaker Studioをつかってい…

SageMaker TrainingのDockerイメージとConda環境を最適化したよ

こんにちは、すずきです。 以前、以下の記事でDockerコンテナ内にConda環境を設定し、Amazon …

OpenID ConnectならGitHub Actionsでクレデンシャルを使わずにデプロイできる

こんにちは、すずきです。 セキュリティ強化を目指して、なるべくIAMユーザーの使用を最小限…

マルチステージビルドやDistrolessでGoアプリケーションのDockerイメージを最適化して…

こんにちは、すずきです。 Node.js(Express)ベースのアプリケーションをGoに移行した際、Dock…

LangChainでLLMのリアルタイム応答を実装してみたよ

こんにちは、すずきです。 有人チャット機能のあるOPTEMOを普段開発している身として、AIによ…

モデル学習時のGPUメモリ不足(RuntimeError: CUDA out of memory)を解消した

こんにちは、エンジニアのすずきです。 GWは日本橋へ行くので、ひさびさに小洞天のシュウマイ…

BERTベースモデルのFine-TuningにTrainerクラスを利用する

こんにちは、エンジニアのすずきです。 以前、IBM論文の参考コードでTabBERTモデルの事前学習を行い、Fine-Tuningについては自作コードを実装しました。 自作コードで一応Fine-Tuningをできるようになったのですが、F1スコアなどのメトリクスを計算するだけでも面倒さを感じていました。 事前学習のときと同様にTransformersのTrainerクラスを使えればメトリクスも簡単に出せるのに...といろいろ調べてみたところ、下流タスク用のヘッドをボディ(

PyTorchモデルをTorchServeのネイティブサポートでデプロイしてみた

こんにちは、エンジニアのすずきです。 以前の記事で、SageMaker Training JobsによるTabBERT…

SageMaker Training JobsでFine-Tuningを行う際にmodel.tar.gzをS3から読み込む

こんにちは、エンジニアのすずきです。 以前の記事で、SageMaker Training JobsによるTabBERT…

SageMaker Training JobsでBERTの応用モデルの事前学習をためしてみる

こんにちは、エンジニアのすずきです。 以前の記事で、TabBERTモデル(IBM論文の付属コード)の…

既存のconda環境をymlに書き出して新環境を楽に構築するTips

こんにちは、エンジニアのすずきです。 以前の記事で論文の付属コードを動かそうとした際、se…

【AI】BERTの応用モデルでクレジットカードの不正利用検知をおこなう③ ~Fine-Tuning~

はじめにこんにちは、エンジニアのすずきです。 最近、多変量の時系列表データの学習に使用す…

【AI】BERTの応用モデルでクレジットカードの不正利用検知をおこなう② ~環境構築・事…

はじめにこんにちは、エンジニアのすずきです。 2022年8月からAI関連の仕事をしており、BERT…

【AI】BERTの応用モデルでクレジットカードの不正利用検知をおこなう① ~論文紹介~

はじめにこんにちは、エンジニアのすずきです。 自然言語処理で利用されるBERTを多変量表データの学習に応用した、Hierarchical Tabular BERT(TabBERT)というモデルの紹介論文を簡単にまとめた記事となります。 論文では、時系列表データの生成モデルであるTabGPTやTabBERTによる大気汚染濃度の回帰分析についても紹介されていますが、今回は自分のやりたいことと近い、TabBERTによるクレジットカードの不正利用検知(分類)の部分のみをまとめまし