ねすた

経歴をギュッとしたら6年目ぐらいのクソザコエンジニア。 2011/04〜2019/0…

ねすた

経歴をギュッとしたら6年目ぐらいのクソザコエンジニア。 2011/04〜2019/09：SES企業でSEとして従事 2019/10〜2023/07：株式会社メイキップでSE・PLとして従事 2023/08〜WHITE CROSS株式会社にPdMとしてJOIN

Ubuntu-DockerでのRe:Dash環境構築が意外と簡単だったので晒す

おはようございます、ねすたです。よろしくどうぞお願いします。 無料のBIツールとしてはRe:dashは非常にありがたい存在で、データ分析やデータ抽出タスクで非常にお世話になっています。 今回はRe:dash v10 のUI変更が魅力的だったので誰でも簡単に環境構築ができる手順をご紹介いたします。 ググれば無限に出てくるRedash環境構築手順ですが、環境が公式AMIのものだったりバージョンが古かったりと、dockerかつv9以降の環境構築手順が意外と無かったりするので少

ねすた

    • 【MySQL】AWS同一アカウント内の異なるRDS間でmysqldumpによりデータ連携する

      おはようございます、ねすたです、よろしくどうぞお願いいたします。 今回は古の技術、mysqldumpです。 ねすたはこれまで恥ずかしながらmysqldump使ったことなかったので、備忘録として記載してみます。 mysqldumpというとデータのバックアップとして使われるそうですが、今回のケースとしては、 「AWSの同一アカウント内における別のRDS間におけるデータ連携」 としてmysqldumpを実行しました。 1.やりたいこと諸事情により、Aurora MySQ

      ねすた

      • 【Aurora MySQL】文字列型カラムの日本語が文字化けする問題の解消【令和最新版】

        おはようございます、ねすたです、よろしくどうぞお願いします。 今回はAurora MySQLについてです。 最近日本語の値が入ることを想定したカラムを追加したのですが、あるデータ連携を試みると文字化けしてて困りました。 「んなのエンコードをUTF-8に変更すれば終わるだろ」と思っていた時期が私にもありました。 いや、確かにそうなんです。しかしゴールはエンコードの変更なのですが、Aurora MySQLの場合は設定が多岐に渡るので今後のためにも記載しておきます。 0.

        ねすた

        • 【DMS】Aurora MySQLのテーブルをAthanaで使えるようにするまでの軌跡

          おはようございます、ねすたです、よろしくどうぞお願いします。 今回はDatabase Migration Service（DMS）を利用してAurora MySQLのテーブルのデータをAthanaでSELECTできるようにするまでを記述したいと思います。 0.前提AWSで以下の機能が使える状態になっていることが前提となります。 ■RDS：Aurora MySQL（バージョンはおそらく不問） ■Athana 1.レプリケーションインスタンスの作成自分は既に作成されたも

          ねすた

        Ubuntu-DockerでのRe:Dash環境構築が意外と簡単だったので晒す

        ねすた

        • 【MySQL】AWS同一アカウント内の異なるRDS間でmysqldumpによりデータ連携する

          ねすた

        • 【Aurora MySQL】文字列型カラムの日本語が文字化けする問題の解消【令和最新版】

          ねすた

        • 【DMS】Aurora MySQLのテーブルをAthanaで使えるようにするまでの軌跡

          ねすた

        マガジン

        • AWS
          5本
        • Figma
          1本
        • Docker
          1本
        • MySQL
          1本
        • Slack
          1本

        記事

          rank()王国

          おはようございます、ねすたです、よろしくどうぞお願いします。 今回はPrestoSQLの話題として、RANK関数をピックアップしたいと思います。 GROUP BY の限界そもそもの課題としては、データ抽出依頼を着手していた際に 『ID1＋ID2単位で重複しているレコードの中で、登録日付が一番古いレコードを取得したい』 という処理をクエリで実現しようとしていました。 ＜データイメージ①＞ ※1番上のレコードのみを取得したい。 上記を満たすため、当初はこういうことを

          ねすた

          rank()王国

          ねすた

          Athena→S3→Aurora MySQLのデータ連携 〜Load To [LOAD DATA FROM S3]〜①

          おはようございます、ねすたです、よろしくどうぞお願いします。 今回はとある業務により、Athena上にあるテーブルからクエリ（SELECT）を実行し、S3にアップロードされたファイルをAurora MySQLの対象となるテーブルにINSERTしたいなーと思い、結果としてめちゃめちゃ時間がかかってしまったのもあり備忘録として記載します。 1つのデータソースであれば SELECT-INSERT すればOKですが、別のデータソースに対してやれんのかな〜って思いながらググっている

          ねすた

          Athena→S3→Aurora MySQLのデータ連携 〜Load To [LOAD DATA FROM S3]〜①

          ねすた

          しょぼしょぼSketchマンの冒険〜maskでアイコン作成編〜

          おはようございます、ねすたです、よろしくどうぞお願いします。 今回は業務上Sketchを使うことになり、デザインとかなんも分からない人がSketchを使って何ができるかを体感しながら少しずつ成長していけたらと思いSketchの初歩的な記事を投稿していこうと思います。 やりたいこと単刀直入に言うと、アイコン画像のリサイズおよび背景色変更となります。 今回のパターンとしては、↓の画像においてアイコン部分の大きさを維持したまま、背景色を変更して縦幅・横幅を変えた画像を作成しま

          ねすた

          しょぼしょぼSketchマンの冒険〜maskでアイコン作成編〜

          ねすた

          Ubuntu-Docker環境のRe:dashが動かなくなったその後に

          おはようございます、ねすたです、よろしくどうぞお願いします。 今回は、自社で使っているDockerイメージによるRe:dash環境が再起動時に動かなくなった際、原因とその解決策を書き留めたいと思います。 環境について今回動かなくなった環境はこちらです。 ・Ubuntu 18.04（AWSにて作成） ・Re:dash Docker 9.0.0-beta.b42121 異変Redash用のEC2インスタンスを再起動した際、Redashのクエリが動かなくなり、ん？と思って

          ねすた

          Ubuntu-Docker環境のRe:dashが動かなくなったその後に

          ねすた

          我思う、コロナ禍に我あり

          おはようございます、ねすたです、よろしくどうぞお願いします。 タイトルに哲学・文学的な要素を期待して記事を閲覧していただいた方、ありがとうございます、そして申し訳ございません。私には文才がありません。 さて本題ですが、タイトルにもある通り今後世界史に確実に載るであろう2020年最大のトピックである新型コロナウイルス（COVID-19）について、ねすたの思いを述べていこうかと思います。 世界情勢がどうとか症状がどうとか経済がどうとかは語れません、ねすたが無知すぎるからです

          ねすた

          我思う、コロナ禍に我あり

          ねすた

          AWS Python SDK(Boto3)を触ってみる

          おはようございます、ねすたです、よろしくどうぞお願いします。 今回は初挑戦のため覚書程度ですが、AWS Python SDK(Boto3)を触るための環境構築を記述していこうかと思います。 【環境】 Mac OS Catalina (10.15.7) AWS CLI v2 Python 2.7.16 1.AWS CLI v2をMacにインストールする普段ねすたはAWSの各種操作をコンソールのみで行っておりましたが、とある案件によりAWS CLIを扱う必要性を感じる

          ねすた

          AWS Python SDK(Boto3)を触ってみる

          ねすた

          人をダメにする try_cast

          おはようございます、ねすたです、よろしくどうぞお願いします。 今回は初の技術系記事投稿です。 会社におけるねすたのポジションとしては、バックエンドではあるものの、メインタスクの1つとして『データ抽出』があります。 営業や企画Tが調査したいものや分析したいもの、またクライアントに理解してもらいやすいようにDBの内容を整形・集計を行い、依頼者にヒアリングしながらクエリを作成していきます。 BIツールはRe:dashを利用しており、インフラはほぼAWSなのでAthenaデー

          ねすた

          人をダメにする try_cast

          ねすた

          noteはじめました

          はじめまして。ねすたと申します。 当方SEをやってます、年齢・経験年数の割にクソザコエンジニアです。 趣味はサッカー・フットサル（プレーおよび観戦）、バンドやライブ（たまにギター弾く、プロのライブに行く）と陽と見せかけた陰の人です。 高度なものではないですが、トレンド・レガシー問わず技術系の記事等をゆるやかに投稿していきますのでよろしくどうぞ。 触ってきた技術【開発言語等】 ■Java / Javascript / HTML / JSP / CSS / JQuery

          ねすた

          noteはじめました

          ねすた

          経歴・職歴【大学・就活編】

          単位制の高校を卒業し、「家電とか新しいのバンバン出てるし電気系行ったろ！」っていう安い理由で工学院大学の工学部 / 電気システム工学科に入学。 専攻内容はインフラおよびハード寄りで、2年の時に必修の単位を落とした（合成抵抗 ってなあに？状態）ことによりハードの道を諦めました。（単位は3年の時にちゃんと取った） 当時は3年の秋から採用活動を行っており、かつリーマンショック後だったため、そもそも採用枠が無いという絵に書いたような買い手市場で就活を開始。 ※それでも1年先輩の

          ねすた

          経歴・職歴【大学・就活編】

          ねすた