くりやま/データ分析

データとビジネスの通訳者になりたいデータサイエンティスト。受託のデータ分析会社に勤務。…

くりやま/データ分析

データとビジネスの通訳者になりたいデータサイエンティスト。受託のデータ分析会社に勤務。データ分析プロジェクトに関することや普段考えていることを発信。計量経済学/レコメンド/マーケティング分析/深層学習。 https://twitter.com/kuriyama_data
  • 固定された記事

あなたのタイムラインのツイートはどのように決まっているのか【Twitterレコメンドの仕組み】

アルゴリズムの突然の公開先日、Twitter社がこれまで非公開だったレコメンドアルゴリズムのソースコードを公開しました。ソースコードはGitHubで公開されており、これは主に「ツイッターの"For you"の画面に表示するツイートをどのように選ぶか」というレコメンドの仕組みについてのコードになっています。 この投稿では、"For You"のタイムラインで表示されるツイートがどのような仕組みで決まっているのかを説明します。基本的にはTwitter社がソースコードと同時に公開した

くりやま/データ分析

    • ChatGPTのモデルをファインチューニングしてみた

      結論から言うとGPT-3.5 Turboをファインチューニングして、なぞかけを解いてくれるモデルを作ろうとしましたが、あまりうまくいきませんでした。しかしこの実験を通じて、ファインチューニングによって実現できること、実現できないことがわかってきました。 ファインチューニングによってできることは、回答のフォーマットを統一したり言葉遣いを揃えたりすることです。 逆にできないことは、もともと答えられない内容を答えられうようにGPTモデルを賢くすることです。 GPT-3.5 Tur

      くりやま/データ分析

      • 5分で大規模言語モデル(LLM)を直感的に理解する

        大規模言語モデル(LLM)とはこれまでAI分野の知識にあまり触れたことがない方が大雑把にChatGPTをはじめとする大規模言語モデル(LLM: Large Language Model)について短時間でイメージをつかめるように簡潔な説明を用意しました。大規模言語モデルを「大規模」「言語」「モデル」とそれぞれ分解して説明することで、LLMにはどのような特徴があり従来のAIとはどのような違いがあるのかについて説明してきます。 1. わざわざ「大規模」という名前がついている理由な

        くりやま/データ分析

        • マッチングアプリのおすすめ表示の仕組み 相互推薦アルゴリズムの紹介

          この記事ではマッチングアプリで使われるレコメンドアルゴリズムの一例を簡単に紹介します。ですので、巷でよくあるマッチングアプリの攻略法を説いた指南書ではありません。しかし、この記事を読んでもらえればマッチングアプリの性質をより深く理解できると思いますし、このレコメンドアルゴリズムの応用範囲はマッチングアプリにとどまらず様々な場面で活用可能だと理解してもらえるはずです。 ※私は業務等でマッチングアプリに直接関わりはありませんし、ここで紹介するアルゴリズムがアプリで実際に使われて

          くりやま/データ分析
        • 固定された記事

        あなたのタイムラインのツイートはどのように決まっているのか【Twitterレコメンドの仕組み】

        くりやま/データ分析

        マガジン

        • データ分析プロジェクト
          8本
        • データと未来
          3本
        • 雑談
          2本

        記事

          AIによる画像修復

          今回はAIの応用例の一つとして画像修復の技術を紹介します。AI、とくにディープラーニングは画像処理を中心にここ数年で大きな進歩をもたらしています。画像にディープラーニングを使った事例は既にいくつもありますが、今回は私が個人的に面白くて応用性の高いと感じた画像修復についてご説明します。 画像修復とは文字で説明するより、まずは画像を見たほうが早いですね。 AIモデルに左の画像を読み込ませると右の画像を出力します。要は画像修復とは画像の欠けている部分を修復する技術です。この画像

          くりやま/データ分析

          AIによる画像修復

          くりやま/データ分析

          評価経済社会の到来

          自宅で過ごす時間が長くなってからYouTubeをよく見るようになった。たまたま見たホリエモンの動画に岡田斗司夫という人物と対談する場面があった。普段は知ったかぶりで上から目線（勝手なイメージ）のあのホリエモンが「なるほど～」と岡田斗司夫の話を感心しながら聞いていた。 岡田斗司夫とはいったいどういう人物なのかと調べると、彼もYouTubeで動画を配信しているらしい。彼はアニメからSFまで幅広い分野に精通するオタクであると同時に、世の中の動向を的確に捉える社会評論家のような真逆

          くりやま/データ分析

          評価経済社会の到来

          くりやま/データ分析

          因果推論を使うときに注意したほうがいいこと（ビジネス編）

          因果推論をビジネスで使うときに個人的に苦労したこと、気をつけていることを紹介したい。ここでは細かい理論の話はしない。技術的な話ではなく、あくまでビジネス寄りな内容。因果推論の分析をする人にはもちろん、因果推論の分析を依頼する側の人にも読んでほしい。 私は現在データサイエンティストとして働いているが、学生時代には計量経済学を専攻し、統計的因果推論の手法を用いた研究をしていた。因果推論は理論的な裏付けのある客観的な手法ではあるが、それを解釈するのは人間であり、活用するのも人間で

          くりやま/データ分析

          因果推論を使うときに注意したほうがいいこと（ビジネス編）

          くりやま/データ分析

          在宅勤務で社員だけではなく会社も"場所"から解放される

          コロナウイルスの感染拡大を受け、期せずしてリモートワークの動きが加速し始めた。リモートワークの普及は、仕事は従業員同士が対面で業務すべきという常識を崩すと同時に、オフィスは立地の良い場所に十分な広さで構えるべきという固定概念をも変えてしまうのではないか。従業員の物理的な出社機会が減少することで、従来オフィスに必要とされていた条件が見直されることになると考えられる。 リモートワークへの意識の高まり感染症の拡大という半強制的な外圧によって日本全体の意識がリモートワークへ傾いた。

          くりやま/データ分析

          在宅勤務で社員だけではなく会社も"場所"から解放される

          くりやま/データ分析

          リスクはオーダーメイドの時代に

          高度に情報が蓄積された未来ではリスクは個別に最適化される。 そして保険料、金利、その他の様々なリスク評価や判断基準が一人ひとりにオーダーメイド化されるようになる。 情報がないことは信用がないこということリスクは安心の裏返し。そして安心は情報によって得られる。 例えば、人に1万円を貸してほしいと頼まれたとする。通りすがりの見知らぬ人に1万円を貸すのはとても不安だ。でももしその人がお金持ちだという情報を知っていれば不安は和らぐ。さらにその人はこれまで必ず借りたお金を返してきた経

          くりやま/データ分析

          リスクはオーダーメイドの時代に

          くりやま/データ分析

          radikoのレコメンド機能実装プロジェクトを勝手に妄想する

          radikoを使っていて、ふと「radikoよくやったな、でも大変だっただろうな」と感じたところをデータサイエンティスト視点で書いていきます。 ラジオが好き1日が24時間では足りない。最近は特にそう思うことが多い。何かの期限に追われているわけではないが、起きている時間は常に何かをしている。そんなとき、ラジオというのは私たちの生活にすっと寄り添ってくれるメディアだ。家事をしながら、運転しながら、入浴しながらでも私たちの時間を奪わずに情報を届けてくれる。 私はラジオを聴くとき

          くりやま/データ分析

          radikoのレコメンド機能実装プロジェクトを勝手に妄想する

          くりやま/データ分析

          天気予報を例に機械学習の特徴を理解する

          AI、ビッグデータ、機械学習。最近これらのワードを目にする機会が本当に多くなりました。普段の仕事でデータ活用に関わる業務をされていなくても、社内でデータ活用の話を聞いたことがあるという方も多いのではないでしょうか。近い将来には人間の仕事を奪うとまで言われているAIですが、実際に今の自分の業務をAIがどのようにこなすのか、そもそも置き換えることは可能なのかをイメージすることは簡単ではありません。 この記事ではAIのトピックで必ずと言っていいほど目にする「機械学習」について「天

          くりやま/データ分析

          天気予報を例に機械学習の特徴を理解する

          くりやま/データ分析

          データ分析・AIの現在、未来について

          記念すべき第1回目の投稿。この投稿では、まず私自身について軽く自己紹介し、これから私がnoteで何を発信していこうと考えているかを中心に話していきたい。 データサイエンティストとしての経験私は現在データサイエンティストとして企業で働いている。Wikipediaによるとデータサイエンスとは、"データを用いて新たな科学的および社会に有益な知見を引き出そうとするアプローチのこと"とあり、データサイエンティストとはそれを職業とする人たちを指すことになる。その他に類似した言葉としてデ

          くりやま/データ分析

          データ分析・AIの現在、未来について

          くりやま/データ分析