マガジンのカバー画像

#アトラエのデータサイエンスチーム

9
アトラエのデータサイエンスチームのnoteをまとめます🙋
運営しているクリエイター

#wevox

4人のデータサイエンスチームで敢えてオーバースペックな ML/DL 環境にした話

データサイエンティストの皆さん、こんにちは。株式会社アトラエの小倉です。wevox の開発にエンジニアとして携わっています。 最近 wevox の DS(データサイエンス)チームの環境を新しく構築しています。具体的には Google Kubernetes Engine と Kubeflow の組み合わせです。 データサイエンティスト3名、エンジニア私1名というチーム構成ですが、 環境を構築・運用する私自身も正直オーバースペックな環境だと思っています。が、一方で、正しい意思

Embulk と Argo でデータ転送する

こんにちは、株式会社アトラエで wevox のエンジニアをしている小倉といいます。この記事では、Embulk と、Argo を含む Kubernetes の周辺ツールを使った弊社のデータ転送環境を紹介していきます。 RDS から BigQuery へのデータ転送 wevox ではデータベースとして AWS Aurora(MySQL)を利用しています。データ分析環境としては GCP を利用しており、Aurora から BigQuery にいくつかのテーブルを転送するために