マガジンのカバー画像

OPTEMOエンジニアブログ

47
エンジニアメンバーのブログをまとめています。
運営しているクリエイター

2023年1月の記事一覧

SageMaker Training JobsでBERTの応用モデルの事前学習をためしてみる

こんにちは、エンジニアのすずきです。 以前の記事で、TabBERTモデル(IBM論文の付属コード)の環境構築と学習(事前学習、Fine-Tuning)をEC2上で行いました。 動作確認くらいであればこれで問題なかったのですが、いざ本番運用を考えてみると、以下のような問題がありそうでした。 学習中以外の時間にかかるEC2のコスト 推論環境を別途たてることになったときの環境再構築コスト 入出力データの管理の手間 調べてみたところ、Amazon SageMakerというAW

既存のconda環境をymlに書き出して新環境を楽に構築するTips

こんにちは、エンジニアのすずきです。 以前の記事で論文の付属コードを動かそうとした際、setup.ymlでconda環境を構築しただけではうまく動作せず、結局ライブラリを入れ直したりして手こずりました(以下詳細)。 1度の環境構築ならいいのですが、再度環境をつくりなおす場合はまたイチから苦しむことになるので、動作成功したconda環境をymlファイルに書き込む方法を調査し、もう一度同じ環境がつくれるかどうか確かめてみました。 ほぼ自分用のメモなのですが、以下のことが知り