マガジン一覧

技術面接問題を通してSQLを学ぶ

Google BigQueryなどSQLを使う場はこれまでもそしてこれからも存在します。このマガジンでは、アメリカのデータエンジニアやデータサイエンス系職業の技術面接で使われた問題を通してSQLを学びます。また実際にどうSQLが使われているか例を含めて紹介します。

54 本
¥1,000

[SQL環境] DuckDB と Google Colab を使った爆速SQL練習ガイド

なぜ Google Colab を使うのか 無料で使える: Google Colab は無料で利用可能です。 どこでも使える: インターネット接続さえあれば、どこでもアクセスできます。 分析環境が整っている: Python 環境であり、Jupyter や SageMaker のような分析環境としても使用できます。 DuckDB がすぐ使える: DuckDB を簡単に導入して使用できます。 Google Colab は他のサービスに比べて便利で、コピペもしやすく、迅速

2

[SQL Tips] 大規模データセットのパフォーマンス向上: 最も近い地点を素早く見つける

例えば、ある地点の海抜の高さを示すデータがあるとします。このデータは、陸地の場合は最低でも30mの精度、場合によっては0.5mやそれ以下の精度で存在します。海の場合でも500mレベルであれば深度の全世界データがあります。これらのデータがすべて一つのテーブルAにあり、テーブルAには緯度、経度、そして高さ・深さが記録されているとします。仮にあなたが100箇所のウエザーステーションの標高を知りたいとしましょう。テーブルBには100箇所の名前と緯度、経度が入っています。 ここで、テ

[SQL Tips] BigQueryの大規模データ処理コストを削減するトリック:Google Cloud Storageを活用した方法

BigQueryでSQLを実行してデータを取得する際、Pythonを使って特定のデータを選択する方法として、以下のようなパターンがよく見られます。 bq_client = bigquery.Client(...)for i in python_list: sql = f"""SELECT * FROM table_a WHERE id = '{i}' """ df = bq_client.query(sql).to_dataframe() all_df.a

3

[SQL Tips] Pythonユーザー必見! 1時間の作業を5分に短縮!BigQueryでのデータ処理術

職場で学んだSQLやBigQueryの効果のあった使い方をシェアします。 職場で他のデータサイエンティストのコードを見て気づいたことがあります。私たちはデータウェアハウスとしてBigQueryを使用していますが、同僚の多くはRやPythonで処理を終わらせたがります。SQLを書くことを避け、「SQLできるよ」と言いつつも、「SELECT something FROM table WHERE …」のレベルで「十分だ」と思っているようです。 SQLは覚える量が少なくて済むにも

2
もっとみる