わたるん

フリーのデータ・アナリスト／エンジニア／コンサルタント データ連携から可視化・活用・定…

わたるん

フリーのデータ・アナリスト／エンジニア／コンサルタント データ連携から可視化・活用・定着まで幅広くやっています

  • 自然科学系のまとめ

    科学、工学、計算関連をまとめています

  • DATA Visualize

    DATA を可視化して見えるようにして魅せるテクニックをまとめました

  • 諸々仕事関係

    仕事に関連する諸々。分類しにくい内容の溜め場

  • 発想の源

    視覚表現をする発想の源となったり、今後取り入れたいと思っている表現、主に美術・建築・工芸についてまとめています

dataikuを使って第2回 金融データ活用チャレンジに挑戦してみる vol2

はじめに前回の投稿で第2回 金融データ活用チャレンジに挑戦してみたことを書きましたが、コンペ期間終了して今回あれこれDataikuをいじってみて便利だと思った機能を備忘録的に残しておきます。 多彩かつ便利なデータクレンジング（前処理）データクレンジング機能が豊富なのは知っていましたが、簡単にクレンジングできる機能を知って驚きました。 今回のコンペでまずクリアしないといけない、$付きの文字列のデータとか文字列の日付をクリックだけで数値や日付にクレンジングできるのは本当に便利で

わたるん

    • dataikuを使って第2回 金融データ活用チャレンジに挑戦してみる

      はじめに「Everyday AI」を目標に掲げたAIプラットフォームの『dataiku』 2023年の夏に初めて知って触ってはみたけど、細々と資格を取ってみたりはしていたけどコンペ参加でもしてみようかと思っていたら知ったのが「第2回 金融データ活用チャレンジ」勢いでとりあえずエントリーしてみました。 まずは始めてみるテーマは「ローンに関連したデータを基に、企業が返済不能になるかどうかの予測」。公式からもアナウンスがあったけど、まずはデータのクレンジングで、日付情報のフォーマ

      わたるん

      • dataiku MLプラクティショナー認定をとった

        はじめにタイトルそのままですがdataiku MLプラクティショナー認定を取得したので、今後取得を目指している方の参考＆dataiku認定シリーズを今後受験するときのための傾向・対策メモです 認定試験対策全体の流れは実際の公式サイトを見てもらえれば分かると思いますがdataiku認定の厄介な点は公開されている動画教材の内容だけでは取得できません。日本語化されていない英語の公式ドキュメントを読み込めば対策になるかもしれませんが少なくとも日本語字幕のついた動画教材だけでは無理と

        わたるん

        • 新幹線移動中の地震発生について

          はじめに2024年1月1日16時10分ごろに能登半島沖で地震発生 ちょうどそのタイミングで新幹線に乗っていて、緊急停車をしました。 災害発生時の新幹線車内の詳細を記録 経緯のぞみ156号　博多発東京行きは2024年1月1日16:06の定刻に名古屋駅を発車 スマホがから一斉にアラートが鳴って、能登半島沖で地震発生の通知 日本海側なのでここは大丈夫だろう。と思っていたら「地震による停電のため緊急停車します」のアナウンス。急ブレーキではなく穏やかに停車 停電のため客席内の照明は9

          わたるん

        dataikuを使って第2回 金融データ活用チャレンジに挑戦してみる vol2

        わたるん

        マガジン

        • 自然科学系のまとめ
          8本
        • DATA Visualize
          4本
        • 諸々仕事関係
          0本
        • 発想の源
          0本

        記事

          QUICK DATA DESIGN MEET UPに参加してきました

          はじめに年の瀬も迫る2023年12月19日に株式会社QUICKさんが開催された「QUICK DATA DESIGN MEET UP」に参加してみたので感想を。 QUICKさんは「データの発掘とビジュアライズ」をテーマにData Visualization Awardを開催されたり、今後コミュニティ立ち上げを考えているらしく初回のMeet UPイベントに申し込んでみました。 非常に有意義なトークが聞けたので、引っかかった（刺さった？）フレーズと感想を備忘録的に トーク１：田

          わたるん

          QUICK DATA DESIGN MEET UPに参加してきました

          わたるん

          dataikuのProcessor Libraryを使いこなす.2:Data cleansing

          はじめにProcessor Libraryの解説。2回目はData cleansingについて すでに紹介してあるProcessorは割愛してあります。それでは参りましょう Data cleansingConvert number formats 数値の表記を変換（下記画像だとDailyRateがカンマ区切りなしのRAWフォーマットになっているのを1000区切りでカンマを入れるEnglishフォーマットに変換） Impute with computed value 平

          わたるん

          dataikuのProcessor Libraryを使いこなす.2:Data cleansing

          わたるん

          dataikuのProcessor Libraryを使いこなす.1:Filter data

          はじめにdataikuのデータ前処理で使うPrepareで使いProcessor Library。たくさんあって便利そうなのだけど、どう使えばいいかが分かりにくい。 説明もあるけど２０２３年12月現在全て英語で、UI的な問題でもあるのだけど編集作業をしながら説明を並べてみることができない。備忘メモの意味もかねてProcessor Libraryを一通り使ってみて何ができるかを解説します。 Filter dataDelete/Keep columns by name 対象カ

          わたるん

          dataikuのProcessor Libraryを使いこなす.1:Filter data

          わたるん

          Tableau を使ってデータアートを作ってみる2

          はじめに以前、オープンデータ祭りの「インフォグラフィックスコース」テーマ出品作品の制作過程を記事にしました。同イベントの2023年夏バージョンである「#データで彩る生活」にも作品を出品＆展示されましたので、今回の出品作品について書いてみます。 こちらは前回の記事です コンセプト決め今回はテーマが決まっていて「大切な物」。改めて「大切な物」を考えてみると「健康」と「時間」（どちらも徐々になくなっていっているもの） どちらにしようか考えていたのですが、以前Tableauのno

          わたるん

          Tableau を使ってデータアートを作ってみる2

          わたるん

          【トルコ・シリア大地震チャリティ企画】によせて

          2023年2月6日に発生したトルコ・シリア大地震。 12年前の2011年3月11日に発生した東日本大震災を思い出し、今回の震災で被災された方に何らかの形で支援活動をできればと考えていました。 今年から始めた、Tableauルノアールユーザー会のスピンオフの形でオンラインチャリティイベントを思い付き下記を企画しました。 このような形でイベント開催するのが本当に良いのか、あれこれ悩んだのですが、関係企業（NTTコノキュー様、Salesforce様等）との調整を行い、イベントに賛

          わたるん

          【トルコ・シリア大地震チャリティ企画】によせて

          わたるん

          Tableau CloudにTableau REST API接続する

          始めになんとなく聞いたことはあったTableau REST APIですが、Tableau Cloudに繋いで検証をしたので、悩んだ点などを備忘録として。 Tableau REST APIとはWEB API経由でTableau Cloudの管理をできるので、動的にユーザやパーミッションの管理をしたり、ワークブックの状態を外部システムから管理するなどの使い方がありそうです。 早速使ってみる基本的には公式のHELPのメニューにあるGet Started Tutorial: In

          わたるん

          Tableau CloudにTableau REST API接続する

          わたるん

          ヴァーチャルギャラリーを作ってみた

          はじめに2022年後半から気になっていたメタバース。他の新技術と同様、時代の流れで持ち上げられ失望され、春と冬の時代を繰り返しながらも徐々に進化している（？）とはいえ、何に使える？ゲームしかないのでは？バーチャル展示会に参加してみたけどいまいちだった。掴みどころがはっきりせず、期待感を持ちにくいため活況と言えない印象があるのも事実 とはいえ、見方を変えると手を出す人がまだ少ない領域なので今から始めれば、将来的に経験が付加価値になるかも。 メタバース始めの一歩ということで情

          わたるん

          ヴァーチャルギャラリーを作ってみた

          わたるん

          Tableauで円形に並べてみる

          はじめにTableau Public等でたまに見かける円形にオブジェクトを配置する手順 色々とやり方はありそうですが、比較的シンプルに実現する方法を見つけたので公開します。 完成イメージはこちらで塗りつぶしの円形にSDGsの色を付けて、丸く配置してみます。 使ったデータ今回使ったデータはViz for Social Goodで2022年10月に行われた "UNDP Accelerator Labs Network"のデータを利用しています。 データの内容は今回メインではあ

          わたるん

          Tableauで円形に並べてみる

          わたるん

          Tableau を使ってデータアートを作ってみる

          はじめにBIツールTableauを利用してデータで絵画作品を2回作成しましたが「どこからこのアイディアが出てくるでしょう？」と聞かれたとき「なんとなく」と歯切れの悪い回答をしていたため改めて制作過程を振り返ってみます 対象は2022年10月に開催された#JTUG総会 に出品して「これはVizではありません」と言われた問題作（笑撃作？）“Autumn Fruit Tart“。作成経緯、どのように着想していたのか、何を考えていたのかを公開します ※ここでは情報伝達としてのデータビ

          わたるん

          Tableau を使ってデータアートを作ってみる

          わたるん

          メッシュコード(8桁)から緯度経度を取得してTableauのMAPにする方法

          はじめに8桁の数値で地球上の約1㎞四方のエリアを表現する第3次メッシュコード。このコードを基に緯度経度を算出してTableauのMAPとして表現する手順です そもそもメッシュコードとは地域メッシュ（ちいきメッシュ）とは、統計に利用するために、緯度・経度に基づいて地域をほぼ同じ大きさの網の目（メッシュ）に分けたものである。メッシュを識別するためのコードを地域メッシュコードと言う。 標準地域メッシュでは第1次メッシュから第3次メッシュまでが定められている 第1次メッシュ（一次メ

          わたるん

          メッシュコード(8桁)から緯度経度を取得してTableauのMAPにする方法

          わたるん