メンバーシップ

Puuuii | 伝える技術と心理学で戦うデータエンジニア

日本屈指のIT企業でデータエンジニア/データサイエンス/AI/サウンドプログラミング/…

Puuuii | 伝える技術と心理学で戦うデータエンジニア

日本屈指のIT企業でデータエンジニア/データサイエンス/AI/サウンドプログラミング/ビジネス/マーケティング/企業分析/デザイン/心理学/行動経済学/脳科学/文化人類学/読書/作曲/動画編集/バンド/ギター/文章術/勉強法/新米パパ/♂/犬/チンチラ/ゲーム/漫画/アニメ

メンバーシップに加入する

包んでしまおうすべてを

  • スタンダードプラン

    ¥100 / 月

  • note予備校～トランスミッション～

    • 116,464本

    とらねこが運営する共同マガジン。グループ合計で参加者1,100名を超えました。フォロワ数2000名以上、120,000記事以上が収録されています。🌱コンテンツを広めたい方の参加をお待ちしています。🌱マナー：①連続投稿はしない②社会一般的に不適切な記事は投稿しない③トップ画面は変えない。参加希望の方は，マガジンの固定記事からコメントしてね(ง •̀ω•́)ง

  • 共育LIBRARY×共同運営マガジン

    • 19,687本

    noteで成長したい。もっとたくさんの人に記事を見てほしい。仲間とつながりたい。少しでもよりよい未来の為にできることを発信したい。 そんな共通の「思い」をもつ方ならば、誰しも歓迎します。 共に手を取り合い、共に成長していきましょう！

  • 【みんなで創る】クロサキナオの運営マガジン

    • 44,252本

    このマガジンは「楽しく、続ける」を趣旨として発信してます。まだnoteに慣れてない人は知り合いづくりと記事の共有を兼ねてぜひご参加してみてはいかがでしょう🌹 ※原則1日投稿記事は2本までとしました。ご了承ください。

  • 【繋がろう】シロクロの共同運営マガジン

    • 10,487本

    【コンセプト】新しい出会い･繋がりのきっかけになったら嬉しいです︎︎👍 記事を見て貰えたら嬉しいし、スキも増えたら嬉しいそんな暖かいマガジンにしていきたいと思ってます😊 私自身もnote初心者なので一緒しnoteを楽しんでいきませんか(*･∀･)／💖＼(･∀･*)

  • とらねこの共同マガジン『トランスミッションⅡ』

    • 14,891本

    トランスミッションⅠのミラーマガジンです。脆弱性が報告されたため設置しています。🌱参加者100名、フォロワ数150名、3000記事以上が収録されています。🌱コンテンツを広めたい方の参加、お待ちしています。🌱マナー：①連続投稿はしない②社会一般的に不適切な記事は投稿しない③トップ画面は変えない。参加希望の方は，マガジンの固定記事からコメントしてね(ง •̀ω•́)ง

  • 固定された記事

上手い文章や資料を本気で作りたい人のためのチートシート

あなたはnoteで成功したいんですか？ それとも、人生で成功したいんですか？ 前者と答えた方。 このnoteを買ってください。 文章を書く時の心得から分かりやすい修飾語の順序、読点の打ち方、無駄な単語の排除にまで及ぶチートシートはきっと役に立ちます。 後者と答えた方。 必ずこのnoteを買ってください。 文章周りだけでなくフォント、図表、レイアウトや配色といったデザインまで網羅しているチートシートはきっとあなたを成功に導くでしょう。 文章系書く前

980
Puuuii | 伝え…

    • Databriks summit 2024 文字起こし

      Data + AI Summit Keynote Day 1 - Ali Ghodsi, Co-founder and CEO of Databrickshttps://www.youtube.com/watch?v=-6dt7eJ3cMs&list=PLTPXxbhUt-YXh57uL3QUQiKLwTf39IoT1&index=1 このビデオは、Databricksの共同創設者兼 CEO である Ali Ghodsi 氏による、Databricks の Data + A

      Puuuii | 伝え…

      • それで、マテリアライズドビューっていつ使うのさ？

        マテリアライズドビューについての記事を見るといつも思うんですよね。 「いろんなメリットやデメリットがあるのは分かったけど、いつマテリアライズドビューを使っていつ通常のテーブルを使えばいいのさ！」 誤解を恐れずにいうと、マテリアライズドビューが無理なく使えるなら率先して使っていいのではないでしょうか！ マテリアライズドビューにはメリットがたくさんあります。 多くのDBで自動更新されるのでINSERTやUPDATEなどの処理が必要ありません。 またクエリが最適化されているので

        Puuuii | 伝え…

        • 新米リードエンジニアのあなたに贈る10の原則

          1. 学び続けよう技術は常に進化し続けているので知識も更新し続けなければいけません。 カンファレンスに参加したり業界のブログを読んだりウェビナーに参加したりしましょう。 またチームにも学びと成長の文化を育てましょう。 2. コミュニケーションを優先しようリードエンジニアはチームメンバーだけでなく非技術部門の関係者と話す機会も多いでしょう。 定期的なチェックインやオープンドアポリシーを通して彼らとビジョンを共有し、円滑な情報共有を目指すのです。 3. 規範を示そうあなたの行

          Puuuii | 伝え…
        • 固定された記事

        上手い文章や資料を本気で作りたい人のためのチートシート

        Puuuii | 伝える技術と心理学で戦うデータエンジニア

        マガジン

        • 共育LIBRARY×共同運営マガジン
          19,687本
        • note予備校～トランスミッション～
          116,464本
        • 【みんなで創る】クロサキナオの運営マガジン
          44,252本
        • 【繋がろう】シロクロの共同運営マガジン
          10,487本
        • とらねこの共同マガジン『トランスミッションⅡ』
          14,891本
        • noteのクリエイターさんたちみんなでマガジン
          22,410本

        メンバー特典記事

          何度調べてもデータファブリックとデータメッシュの違いがイマイチ理解できなかったのでGPTに手伝ってもらった

          「スタンダードプラン」に参加すると最後まで読めます

          GPTに出力してもらった各情報に、文章的な手直しをちょっと入れました。 データファブリックの導入前後の小話導入前の課題 大手製造企業A社マーケティング部門の田中さんは、製品の市場動向を分析するためデータを必要としていました。 しかしマーケティング部門のデータは各部門に分散されており、営業部門や製造部門、サプライチェーン部門がそれぞれ異なるシステムでデータを管理していたため、必要なデータを集めるのに毎回数週間を要していたのです。 さらに営業部門の山田さん、顧客の購買履歴デ

          100
          Puuuii | 伝え…

          何度調べてもデータファブリックとデータメッシュの違いがイマイチ理解できなかったのでGPTに手伝ってもらった

          Puuuii | 伝える技術と心理学で戦うデータエンジニア

          「もう全部 Apache Dorisでええやん？」組み込みのスケジューリング機能を探る

          「スタンダードプラン」に参加すると最後まで読めます

          以前にも紹介しているApache Dorisですが、まだまだその魅力をお伝えできていませんでした。 今回は組み込みのスケジューリング機能を紹介します。 なぜ組み込みのジョブスケジューリングが必要なの？わざわざ組み込みのスケジューリング機能なんて使わなくても、Apache AirflowやArgo Workflowsのようなオーケストレーションを使えば同じことができる―そう思いませんか？ でも考え方が逆なのです。 組み込みのスケジューリング機能がないから別途オーケストレーシ

          100
          Puuuii | 伝え…

          「もう全部 Apache Dorisでええやん？」組み込みのスケジューリング機能を探る

          Puuuii | 伝える技術と心理学で戦うデータエンジニア

          【DuckDB】何ができて、できないのか

          「スタンダードプラン」に参加すると最後まで読めます

          先日DuckDBに空間データベースの機能を持たせることを記事にしましたが、そもそも「DuckDBってなんだ」という記事を書いていませんでしたね。 今回はDuckDBに何ができて何ができないのかを中心に見ていきましょう。 DuckDBって何ができるの？高速なクエリ まずはインプロセス、つまり外部にデータベースを持たないことから、簡単に構築できて高速に動作することが特徴になっています。 リアルタイム分析などに使えていいですね。 読み取り性能がいい理由はもうひとつあって、列指

          100
          Puuuii | 伝え…

          【DuckDB】何ができて、できないのか

          Puuuii | 伝える技術と心理学で戦うデータエンジニア

          位置情報って2種類あるの知ってる？～ベクタとラスタ～

          「スタンダードプラン」に参加すると最後まで読めます

          位置情報データがますます欠かせない時代になってきました。 もうナビがないと車で知らない場所へは出かけられないし、災害のときに被災者がどこにいるのかを見つけることもできるし、好きな店の近くを通りがかったらセール情報を届けてくれることもあります。 そんな位置情報ですが、データをごにょごにょ扱う側からするとベクタデータとラスタデータという2種類に分けられるのです。 それぞれ何を表すことができて、どんな形式で保存されて、Pythonでどのように扱えばいいかをお話しします。 加えて位

          100
          Puuuii | 伝え…

          位置情報って2種類あるの知ってる？～ベクタとラスタ～

          Puuuii | 伝える技術と心理学で戦うデータエンジニア

          データはもはや石油ではありません

          「スタンダードプラン」に参加すると最後まで読めます

          「データは新しい石油」という言葉を聞いたことがある人は多いでしょう。 データの価値と重要性を説いた言葉ですね。 はっきりとした出どころは分かりませんが、2006年ごろから言われ始めたようです。 しかしはっきり言って、この言葉はもはや古いです。 未だに データ＝石油 だと発言するものがいたらIT・ビジネスに疎い人だと警戒してもいいほどです。 日々少しでもデータに触れている人であれば、日本における湯水のごとくあふれ出るデータ量に圧倒されていることでしょう。 希少価値が高い石油と

          100
          Puuuii | 伝え…

          データはもはや石油ではありません

          Puuuii | 伝える技術と心理学で戦うデータエンジニア

          noteユーザー✨10万人分✨のデータをドドンと公開するよ！！

          「スタンダードプラン」に参加すると最後まで読めます

          昨日上げたこの記事― デイリーで投稿してる「今日の技術」の2倍ぐらいのアクセスとスキをいただいています。 読んでいただいた方、ありがとうございました✨ まだの方はぜひ読んでコメントなりスキなり（サポートなり）いただければ嬉しいです！ 先の記事の分析のためのデータ取得ですが、プログラムの内容は大したことないもののnoteのサーバーに過負荷を掛けないようにちょびちょびAPIを投げたので結構時間がかかったんですよね。 何らなら私、API投げすぎて一度BANされてますし…

          100
          Puuuii | 伝え…

          noteユーザー✨10万人分✨のデータをドドンと公開するよ！！

          Puuuii | 伝える技術と心理学で戦うデータエンジニア

        記事

          RocksetってどんなDB？Dorisとの比較を通して

          RocksetがOpen AIに買収されるというニュースが入りましたが、そもそもRocksetを知らない人もいたことでしょう。 最近私が注目しているApache Dorisとの比較を通してRocksetの特徴を見ていきましょう。 比較表要は、RocksetはフルマネージドなドキュメントDBで、Apache Dorisはセルフホストが必要なDWHというわけです。 ちなみにApache Dorisのマネージド版をご所望ならVeloDBがあるのでご検討してはいかがでしょうか。

          Puuuii | 伝え…

          RocksetってどんなDB？Dorisとの比較を通して

          Puuuii | 伝える技術と心理学で戦うデータエンジニア

          【Claudeによる】RPCとgRPC：データエンジニアのための手引き

          1. RPC (Remote Procedure Call)の基礎RPC（Remote Procedure Call）は分散コンピューティング環境で活躍する　APIの一種です。 プログラムはネットワーク上の別のコンピュータにある関数やプロシージャをローカルの関数のように呼び出すことができます。 RESTful APIもそうですが、RPCも通信を抽象化することで異なるプログラミング言語間での通信を可能にします。 またクライアント-サーバーモデルに基づいており、シンプルな実装が

          Puuuii | 伝え…

          【Claudeによる】RPCとgRPC：データエンジニアのための手引き

          Puuuii | 伝える技術と心理学で戦うデータエンジニア

          複数参加してるすべての共同マガジンに同タイミングで書いたnoteを追加するんじゃなくて、時間を空けて順次追加してる人おるよな あれ効果あるん？どっかで実証されてる？

          Puuuii | 伝え…

          複数参加してるすべての共同マガジンに同タイミングで書いたnoteを追加するんじゃなくて、時間を空けて順次追加してる人おるよな あれ効果あるん？どっかで実証されてる？

          Puuuii | 伝える技術と心理学で戦うデータエンジニア

          そのETLツール、本当に必要ですか？

          Apache AirflowなどのETLツールを使って社内でデータを運用している組織が多いと思います。 でも一度考えてみてください。 そのETLツール、本当に必要ですか？ ETLツールのデメリットETLツールのデメリットを3つ挙げてみましょう。 コスト まずはコストです。 コスト=費用ではありません。 ETLツールを使うときに余計に掛かる時間もコストです。 有償のツールであれば直接費用がかかります。 無償のツールのばあい自分たちでサーバーを構築してその上で運用していると

          Puuuii | 伝え…

          そのETLツール、本当に必要ですか？

          Puuuii | 伝える技術と心理学で戦うデータエンジニア

          「何時にnoteを投稿しても24時間後のスキ数に影響はない」データ公開✨

          先日投稿したこちらの記事、たくさんスキをいただけて嬉しいです！ ありがとうございます！ この記事中の分析に使った10万ユーザーの投稿データを公開するので、良ければ使ってください！ ま、有料ですけどね！ （ちょっとだけ手間掛かってるので許してね🥳） 以下にダウンロードURLを貼ります。

          100
          Puuuii | 伝え…

          「何時にnoteを投稿しても24時間後のスキ数に影響はない」…

          Puuuii | 伝える技術と心理学で戦うデータエンジニア

          【結論】何時にnoteを投稿しても24時間後のスキ数に影響はない

          タイトルの通りです。 ありがとうございました。 後は消化試合なのでごゆるりと見ていってください。 よければ気軽にご意見・ご感想・ご質問も投げてください🥳 投稿時間とスキ数の関係を調べたきっかけ次の記事を読んだからです。 引用記事では― と書かれていましたが、私の分析でも同じ結論です。 当該記事では「昼の部」が伸びやすいという言及もありましたが、私の方では統計的に見て、24時間後のスキ数については全く無関係だと付け加えておきます。 なんで投稿時間とスキ数が無関係だと思

          Puuuii | 伝え…

          【結論】何時にnoteを投稿しても24時間後のスキ数に影響はない

          Puuuii | 伝える技術と心理学で戦うデータエンジニア

          使い道次第で有用なシングルトン

          概要プログラム中ただひとつだけそのクラスのインスタンスが存在するパターン 普通、オブジェクトは中身が勝手に書き換えられないように苦心するが、完全に裏をいく 有用性ただひとつのオブジェクトなので無駄にリソースを消費することがなく共通のオブジェクトを使いまわせる ユースケースデータベース接続 ロギング アプリ設定 ハードウェアインターフェース OSのファイルシステム キャッシュ管理 スレッドプール 問題と対策マルチスレッド環境だとシングルトンの思想に反して複数の

          Puuuii | 伝え…

          使い道次第で有用なシングルトン

          Puuuii | 伝える技術と心理学で戦うデータエンジニア

          【GPTによる】グラフデータベース解説

          グラフデータベースはデータをグラフの形で保存し、データ間の関係性を表現します。 ここでいう「グラフ」とは数学的な意味であり、ノード（頂点）とエッジ（辺）で構成されています。 ノードはデータポイントを、エッジはノード間の関係を表します。 主要な概念ノード（Node） データのエンティティやオブジェクトを表し、人や場所、イベントなどが該当します 名前や日付、重量などの情報をプロパティ（属性）として持つことができます エッジ（Edge） 例えば友人関係や所有関係とったノー

          Puuuii | 伝え…

          【GPTによる】グラフデータベース解説

          Puuuii | 伝える技術と心理学で戦うデータエンジニア

          アナロジーになじみのない例を使うの間違ってない？ 例えば他人とコミュニケーション取ることを「橋を架ける」って言ってみたり、noteの収益化をRPGの宝箱「側」においてみたり。 実際橋を架けたことある人どんだけおんねん ミミックが主人公のRPGとかむしろ遊んでみたいわ

          Puuuii | 伝え…

          アナロジーになじみのない例を使うの間違ってない？ 例えば他人とコミュニケーション取ることを「橋を架ける」って言ってみたり、noteの収益化をRPGの宝箱「側」においてみたり。 実際橋を架けたことある人どんだけおんねん ミミックが主人公のRPGとかむしろ遊んでみたいわ

          Puuuii | 伝える技術と心理学で戦うデータエンジニア

          丹念に積まれた学習は才能と見分けがつかない

          Puuuii | 伝え…

          丹念に積まれた学習は才能と見分けがつかない

          Puuuii | 伝える技術と心理学で戦うデータエンジニア

          ジオハッシュだけじゃない！地理空間を表現する方法：EWKT／EWKB

          ジオハッシュをおさらい地理空間情報をシステムで扱うのによく使われる表現はジオハッシュです。 地表を格子状に分けて文字列を振って位置情報を表現します。 ジオハッシュのメリットは― 座標を単純な文字列で表現するため管理や共有が簡単 文字列の接頭辞を比較することで地理的に近い場所を簡単に探し出せる 文字列の長さによって精度を調整できて便利 一方で極地付近だと歪みが発生するといったデメリットもあります。 EWKT／EWKBとは？Extended Well-Known Te

          Puuuii | 伝え…

          ジオハッシュだけじゃない！地理空間を表現する方法：EWKT／EWKB

          Puuuii | 伝える技術と心理学で戦うデータエンジニア

          ふだん英語記事とか論文とか読んでる人ほど英文につられて文章で「こと」を連発してしまうので気を付けような！（自省） あと思いつくままに書きなぐっていると「受ける言葉」に困って「こと」で受けてしまうので気を付けような！！（自省）

          Puuuii | 伝え…

          ふだん英語記事とか論文とか読んでる人ほど英文につられて文章で「こと」を連発してしまうので気を付けような！（自省） あと思いつくままに書きなぐっていると「受ける言葉」に困って「こと」で受けてしまうので気を付けような！！（自省）

          Puuuii | 伝える技術と心理学で戦うデータエンジニア