data scientist's memo

本

データサイエンス関連の情報を外部記憶装置的に。元々の執筆目的だったので整理した目次も作りますが、他のtweet的な記事なんかも書くようになったので、わかりやすくなるようにマガジ… もっと読む

運営しているクリエイター: くすぐったがり

固定された記事

仕切り直しで収集情報の整理・目次

初回の投稿として「はじめまして、の代わりに」を書いてから間が空いたのは、当初の目的を勤務先で業務としてやることになったからでした。秘密情報はないものの、業務上の扱いが少々ビミョウで。再開したのは、その代わりの内容として、これまで参照してきたデータサイエンス関連のwebサイト等で有用なものを整理しておきたいと思い至ったから。もっと知られていてよいものが知られてなかったりしますし。なので、本当の僕のプロフィールは「はじめまして、の代わりに」を参照してもらうとして、ここは情報

分析結果のダッシュボードとかwebアプリとか

レポーティングとデータ収集の自動化については以前まとめたけれど、アウトプットの形としてはダッシュボード的な表示は求められることがある。僕は経験ない（瑕疵担保責任を負えないコンサルファームにいるので）けど簡単なwebアプリもどきとしての提供とかも。そのあたりを作るものはまとめておかないと、とは思っていた。 R 自分が手馴れてるRからいくと、flexdashboardとかshinyとかは耳にする。特に前者はR studio / R markdownから使えるのが良い。何かの

EBPM（Evidence-Based Policy Making）のまとめ

現職では公共分野の案件にも関与するが、そのデータ利活用の流れが一番わかりやすいのがEBPMガイドブック実際はPolicy-Based Evidence Makingになってないかとか、実態はそれ以前のことが多いよね的なツッコミは横に置いて、データ利活用のメソドロジーとしては良くまとまっていて企業の人にも参考になる。そして以下を見ると、経済産業省DXオフィスやEBPM推進の一部の人たちは確かに良く理解されていて、民間企業にとっても大変参考になる。同じ省からヒアリングを依頼

予測市場/集合知という希望

予測市場/集合知という考え方自体は若い時から知っていた。ゲーム理論やネットワーク分析のような分野をいつかビジネスに活用したい、その方法論の1つとして漠然と気にしていた程度だけど。モチベーションと実務活用事例これはもう少し深堀しなくてはと思ったのはコロナが来てから。当時の顧客PJで調達購買部門向けに市況モノの価格予測モデルを構築していたのだが、正体不明の疫病は市場の動向を完全に狂わせており、市況などのデータだけでは価格が当たらない。。。もちろん価格変動が小さい大半の原

論文検索〜要約とかナレッジワーク等を支援するLLM

生成AIのトレンド予想と具現化されてるツールからページを分離して、コンサルタントや研究員といったナレッジワーカーを支援するLLMをピックアップして整理します。論文探索調査段階のツールはもはやperplexityだけじゃない（笑）、費用さえあれば楽になってきた。費用がないので試してないものも多いけど。論文要約検索して見つけた論文を、全てジックリ読むわけにはいかない、まずは要約して見たい、となる。もちろんChatGPTやClaude 3といった最新の AI を使っ

生成AIのトレンド予想と具現化されてるツール

仕事で使う情報を整理する目的もあって、大規模言語モデル(LLM)やそのツールの情報整理2024.04版から表題に使う情報を分離しました。 1. AIエージェントは今年ウォッチしていくトレンドの1つか先月も取り上げた完全自律型AIエンジニアDevinの記事も増えてきた。Cognition社の情報量は同じで、注目する人が増えて解像度が上がった感じ。自己学習型AI／完全自動型AIの魅力と脅威とかコンサルタントがみんな頭が良い訳じゃない、AIに駆逐される人もいそうとか以前も

反実仮想機械学習に関する手法とかのまとめ

反実仮想（起こり得たけど起こらなかったこと）での施策の効果を予測したり、因果を推論したりということのニーズは考えうる。まずは統計的因果推論から導入して、それらをより機械的に動かす、業務プロセスに埋め込んで自動的に判断させたい、といったときに反実仮想機械学習とかOff-Policy Evaluationとかが出てくる、というのが私の理解。「反実仮想機械学習」って言葉が魅力的に響くせいか統計的因果推論すら適用してない段階でしたり顔で言うのがいる、、、まぁ自分も説明したり状況

動学マクロ経済学とかに関する手法とアルゴリズムのまとめ

元々この分野に着目した目的は、ビジネスシミュレーションを実現するオプションとして動学マクロとかDSGE、それらを実装するためのツール類が使えそうだと思ったから。ただ勉強しようと思って読む文献は、どれもマクロ経済学のコンテキストが強すぎてわかりづらい、使いづらい＿|￣|○ 何冊か借りたり買ったりして読んだがマシものの１つは以下。正直驚く程わかりづらい数式展開・数式表現で真面目に読むほどイライラするが、GitHub - rhasumi/dynamicmodels: 『動学マク

経済学的なモデル・手法に関するまとめ

いわゆる経済学的なモデルや手法についても学んでおいた方が良い。と思っている。経済学的なコンテキストはともかく、少なくともどのようなコンセプトであるかは知っておく方が良い。政策分野はもちろん、電力など公共に近い分野を中心に戦略的なレイヤーで、経済学による定式化の考え方が持ち込まれているところを目にする。まずはミクロ経済学から。応用ミクロ経済学の講義資料計量経済学だと、このあたり CRAN Task ViewのEconometricsの文末にそれらしいレファレンス

ゲーム理論やネットワーク分析に関する手法のまとめ

自分は経済学というよりは経営工学・ORからゲーム理論に接し、必要に応じてネットワーク分析の手法を使いつつ、政治学や社会学など社会科学に共通する課題に数学的にアプローチしていた。素晴らしい経済学の方々は尊敬するし、作られた手法は使わせて頂く。管理上または形式的に経済学の括りで語るのも否定しない。いや、自分が若い時に経済学が今の状態なら、自分も経済学を選択して、経済学だけで語るヤツに自分がなっていたのかもしれないwww 僕の学生時代は経済学もマトモに数学を使えない奴らだったか

マッチング理論やマーケットデザインに関する手法のまとめ

データサイエンスというとデータを集めて分析して、という範囲でしか考えないSEの亜種としての機械学習エンジニアやBI+α程度ができるだけのコンサルタントが、結構な割合でデータサイエンティストを名乗ってる。しかし実際は他にも多様な手法があることを本来のデータサイエンティストは知っている（べきである）。もちろんデータも使うが、問題を解決するのにビジネスや業務のロジックを可能な範囲で定式化して数理最適化・線形計画法（Operations Research）やシミュレーション（システ

量子コンピュータってどうなん

量子コンピュータという技術自体は将来的には有用だと私も思ってます。ただ、少なくとも私が理解できている数理最適化・線形計画法（Operations Research）の分野では整数計画問題（巡回セールスマン問題やナップサック問題など）への適用が期待されていたものの、その技術の出始めのころから既存の有償ソルバーの方が早くて便利だと言われて久しかった。そのあたりをわかりやすくバッサリ解説してるのが上記の記事、本当に助かる。 OR分野のうち数理最適化関連の研究者は、ビジネスの状

人事分野のドメイン知識とデータサイエンス

人事分野のデータサイエンスは「people analytics」として1つの分野になっていて、素材も多いので別ページに分けました。先行事例は、やはりgoogleかな。いろいろまとまっている。本当は人事こそデータで考えるべきだと思ってます。たまたまローテーションで人事部にいたり、他の仕事ができなくて置かれているような人による官や経験に基づく思いつきの施策は多くの社員を苦しめるから。以前とある人事部門で、買い叩かれ案件に付き合ったこっちも悪いのだが、データ分析だけ導入す

難しい技術より最初はExcelから

データサイエンスやらDX、AI、ITとか小難しいこと、誰も自分ではやりたくないですよね。だって目の前の業務に忙しいのに、すぐに業務に役立たなそうですもの。新しいITツールとかハードル高いし。それなのに全社DX研修とか言って全社員にいきなりpython学ばせようとしだす人事部門がいて、、、先ず隗より始めよ、自分で一度やってみろという話です。事情を知らずに講師で行ったら、受講者から文句をつけられたけど、御社内の諸々まで知らんがな。。。社内の動機付けや文化醸成から始めて、Ex