D2C エンジニア＆データサイエンティスト

本

株式会社D2Cのテックブログです。メンバーはNTTドコモの膨大なデータを活用し最適化された広告配信システムの開発をしています。

運営しているクリエイター

#python

生存時間分析を使ってみたのでざっくり説明

はじめにこんにちは、D2Cデータサイエンティストの内野です。本記事では、自分が生存時間分析に初めて触れた際に欲しかった、噛み砕いた手法の説明と実際に使ってみた使用例をまとめていきたいと思います。これから何かに生存時間分析を活用してみたい！イベント予測がしたくてどんな手法があるか気になる！というような方の参考になれば幸いです。 …この続きは、エンジニアのための情報共有コミュニティ「Zenn」に投稿しています。是非ご覧ください！

再現性を担保したAWS Athenaでのランダムサンプリングについて(Advent Calendar Day 4)

はじめにこんにちは、D2Cデータサイエンティストの小林です。本記事では、AWS Athenaによるハッシュ関数を用いた再現性のあるサンプリング手法について検討します。ハッシュについては以前の記事をご覧ください。また、AWS AthenaでのDB作成やテーブル作成については触れませんので別の記事を参考にしていただければと思います。 …この続きは、エンジニアのための情報共有コミュニティ「Zenn」に投稿しています。是非ご覧ください！

awswrangler(Athena)でのデータ抽出をPolarsへ置き換えて高速化する

はじめにこんにちは。D2Cデータサイエンティストの名越です。 Pythonでs3にある大規模なテーブルデータを多少の条件をつけて抽出する際どのように取得していますでしょうか？ Pandasを使ってデータ処理をする場合は大規模データだと重くなってしまうためできるだけ事前に処理をしたものを取り出したいですよね。私の所属している部署では awswrangler を用いてAthenaでデータ取得することができる環境が整っているため、私はそこまで深く考えることもなくシステム内

Slackへの匿名投稿機能を Slack Bolt for Python + AWS SAM で作ってみる

はじめにこんにちは、D2Cエンジニアの穐澤です。 Slackで気軽に雑談したいけど、名前を出して発言するのはちょっと気が引けると感じる方も世の中には多いのではないでしょうか？その一解決策として、本記事では匿名投稿を実現するSlackアプリを作成してみたいと思います。匿名投稿の実現という点のみで言えば、以下記事のようにSlackのワークフロービルダーから簡単に機能を作成でき、わざわざSlackアプリを作成する必要もありません。 …この続きは、エンジニアのための情報共有

AWS CDK（Python）を使ってCodePipelineからSlackへ通知できるようにする

はじめにD2Cでエンジニアをしている、髙橋と申します。最近業務内でAWS CDKを使ってCI/CDパイプラインを構築する機会があり、 CodePipelineからSlackに通知する部分を記述する際に、AWS公式ドキュメントやAPIリファレンス、その他記事などを参考にさせていただきました。ただその中の多くがUI画面から構築していたり、CDKでTypeScriptを使っているものしか見つからず、Pythonで気軽に構築するにはハードルが少し高いなと感じました。そのため