ADHD@IT現場猫

ADHD/発達障害/TMS治療中/手帳3級/クローズ就労 #IT現場猫

ADHD@IT現場猫

ADHD/発達障害/TMS治療中/手帳3級/クローズ就労 #IT現場猫
すべてのマガジンを表示

GoogleスプレットシートからBigQueryにデータをインポートする時にDATE型がエラーになる時のチェックポイント

チェックポイント。日付型と文字列型

100
ADHD@IT現場猫

    • GoogleスプレットシートからBigQueryにデータをインポートするGoogleAppScript（GAS）

      使い始める前に共通設定 サービスに「BigQuery」を入れてください サンプルコード/main//★★グローバル定数・ここを書き換える★★//テーブル定義書スプシIDconst sheet_openByIde_bq_setting = スプシのID//テーブル定義書のシート名const sheet_name_bq_setting ="BQ設定用"//テーブル定義書設定のセルconst projectIdCells = "D2" //プロジェクトIDconst datas

      5,000
      ADHD@IT現場猫

      • GASのコード途中での強制終了方法(GoogleAppScript）

        コードExcelVBAでいうところのexit subと同じ意味 function main() {if(!exit_sub()) return;//exitsubconsole.log("途中強制終了"); //exitsub確認用メッセージ}//開発用・途中中断用function exit_sub(){ return false;} 参考になるサイトはコチラ

        ADHD@IT現場猫

        • 1年間寝て過ごして年収４００万を維持した方法（再現性ほぼゼロ）

          読み始める前に注意事項！初めに申し上げておきますが再現性はとっても低いです。 運さえ良ければレベルなので、誰でもできます！なんて大口はたたきません。ただ、人材関係の仕事の人に聞いたり、横のつながりの人に聞いてみると、あり得ない話でもなく 私と同じようにほぼ働かずに毎月お給料をもらってるチラチラはいました。 職場の条件①リモート環境 リモートでないとさすがに寝れません。 ②サボり監視システムの入っていない 監視カメラや、PCがスリープモードになっていないか、キーボードがどれく

          500
          ADHD@IT現場猫

        GoogleスプレットシートからBigQueryにデータをインポート…

        ADHD@IT現場猫

        マガジン

        • Pythonでデータ分析
          0本
        • pythonの小技集
          58本
        • slackの小技集
          4本
        • SlackとAWSで業務改善
          4本
        • ライフハックまとめ
          1本
        • ADHD
          3本

        記事

          BigQueryでカレンダーテーブルを作る

          UNNESTとGENERATE_DATE_ARRAYで作るUNNNESTは構造体で配列を格納することができます。 GENERATE_DATE_ARRAYはDATE型の配列を生成します。 下記にすると2017年から2019年のカレンダーを生成することができます。 INTERVAL 1 DAYは何日ごとのデータを作るかなので 7 DAYとした場合は一週間ごとになりますし 1 MONTHとすれば一か月ごとになります。 SELECT *FROM UNNEST(

          100
          ADHD@IT現場猫

          BigQueryでカレンダーテーブルを作る

          ADHD@IT現場猫

          BigQueryで移動平均を集計して売り上げの傾向を把握する

          １２か月の移動平均月別の「平均」の折れ線グラフで見るより 移動平均のグラフを見ると、売り上げが上昇傾向か下降傾向かが グラフで把握しやすくなります サンプルSQL

          100
          ADHD@IT現場猫

          BigQueryで移動平均を集計して売り上げの傾向を把握する

          ADHD@IT現場猫

          BigQueryで誕生日から年齢を計算する方法

          DATE_DIFFを使う方法今日の日付から年齢を計算 SELECTDATE_DIFF(CURRENT_DATE(), birthday, YEAR) AS ageFROM customers 特定の日付から年齢を計算 SELECTDATE_DIFF(DATE "2019-12-31", birthday, YEAR) AS ageFROM customers CASTとFORMAT_DATEとFLOORを使う方法SELECTCAST((CAST(FORMAT_DATE

          ADHD@IT現場猫

          BigQueryで誕生日から年齢を計算する方法

          ADHD@IT現場猫

          BigQueryでPIVOT

          PIVOT縦持ちテーブルから横持テーブルへ 例えば下記図のような縦持ちテーブルがあるとします 上記を横持テーブルにすると下記図のようになります 縦持ち、横持ちの表現になれない方もいるかもしれませんが これはExcelでいうところのピポッドテーブルのそれですね。 PIVOTのわかりやすい説明サイトはコチラ サンプルSQL SELECTnum_year,q_1,q_2,q_3,q_4,FROM(SELECTnum_year,CONCAT("q_",num_quarter)

          100
          ADHD@IT現場猫

          BigQueryでPIVOT

          ADHD@IT現場猫

          NULLの扱い方_BigQuery_SQLチートシート

          NULLがあると計算に支障があるので前処理が必要nullを100で割ることはできないので IFNULLやCOALESCEを使って前処理をする必要があります。 SELECT null / 100 AS null_num,IFNULL(null,0) / 100 AS ifnull_num, NULLの扱い方IFNULL関数 下記とすると、もしageカラムがnullだった場合は0埋めしてくれることになります。 SELECTuser_id,age,--ユーザー氏名,IFNU

          ADHD@IT現場猫

          NULLの扱い方_BigQuery_SQLチートシート

          ADHD@IT現場猫

          日付時刻_BigQuery_SQLチートシート

          date_timeから年などを取得する方法色々FORMAT_DATETIME(文字列型取得） 下記を使うと文字列型で取得できる。 第一引数の表の公式サイト説明DAYOFWEEKはコチラ FORMAT_DATETIME("%Y",date_time) AS string_year--文字列型 EXTRACT(数値型取得） パートの公式サイト説明はコチラ DAYOFWEEK　日曜日が１～土曜日が７で表現される DAY　日付の数値 DAYOFYEAR 例えば2022-12

          100
          ADHD@IT現場猫

          日付時刻_BigQuery_SQLチートシート

          ADHD@IT現場猫

          OFFSETとORDINALの違い_BigQuery

          OFFSETとSAFE_OFFSETOFFSETは配列を０から数えます SAFE_OFFSETはOFFSETと同じく配列を０から数えますが 存在しないインデックス番号を引数に渡すとNULLが返ってきます ORDINALとSAFE_ORDINALORDINALは配列を１から数えます SAFE_ORDINALはORDINALと同じく配列を０から数えますが 存在しないインデックス番号を引数に渡すとNULLが返ってきます 具体例

          100
          ADHD@IT現場猫

          OFFSETとORDINALの違い_BigQuery

          ADHD@IT現場猫

          ロイヤル顧客の定義方法_BigQuery編

          平均値＋標準偏差値を上回っている顧客をロイヤル顧客と定義する方法詳しい説明はコチラ 集計の例

          100
          ADHD@IT現場猫

          ロイヤル顧客の定義方法_BigQuery編

          ADHD@IT現場猫

          ウィンドウ（分析）関数_SQL_BigQuery編

          わかりやすいまとめサイトはコチラ RANK関数：番号を付ける

          100
          ADHD@IT現場猫

          ウィンドウ（分析）関数_SQL_BigQuery編

          ADHD@IT現場猫

          正規表現チート表_SQL_BigQuery編

          正規表現で使う関数：REGEXP_CONTAINS〇〇で終わる REGEXP_CONTAINS(value, 正規表現) 正規表現 regex と一致する value 内の最初の部分文字列を返します。 一致がない場合、NULL を返します。 nameカラムの値が「山田 太郎」という半角スペース区切りのデータだったとして、苗字が「田」で終わり、かつ、名前が「郎」で終わる人と一致する人に絞る場合

          100
          ADHD@IT現場猫

          正規表現チート表_SQL_BigQuery編

          ADHD@IT現場猫

          スペース区切りの苗字と名前を分けるSQL_BigQuery編

          nameカラムの値が「山田 太郎」という半角スペース区切りのデータだったとして、そこから苗字と名前に分けるSQL

          100
          ADHD@IT現場猫

          スペース区切りの苗字と名前を分けるSQL_BigQuery編

          ADHD@IT現場猫

          STRUCT型のデータじゃないのにSTRUCT型のエラーが出るときの原因_BigQuery

          Invalid cast from STRUCT<col1 FLOAT64> to FLOAT64 at [32:11] こんな感じのエラーメッセー時が出たとき どうやらデータが異なるといっています。 しかしcol1はどう考えてもSTRUCT（ネストされたデータ）ではありません。 そもそも「col1 FLOAT64」って何よ… 原因やっちゃーいけない凡ミスです。

          100
          ADHD@IT現場猫

          STRUCT型のデータじゃないのにSTRUCT型のエラーが出るとき…

          ADHD@IT現場猫