くりやま/データ分析

データとビジネスの通訳者になりたいデータサイエンティスト。受託のデータ分析会社に勤務。…

くりやま/データ分析

データとビジネスの通訳者になりたいデータサイエンティスト。受託のデータ分析会社に勤務。データ分析プロジェクトに関することや普段考えていることを発信。計量経済学/レコメンド/マーケティング分析/深層学習。 https://twitter.com/kuriyama_data

マガジン

記事一覧

固定された記事

あなたのタイムラインのツイートはどのように決まっているのか【Twitterレコメンドの仕組み】

アルゴリズムの突然の公開先日、Twitter社がこれまで非公開だったレコメンドアルゴリズムのソースコードを公開しました。ソースコードはGitHubで公開されており、これは主…

ChatGPTのモデルをファインチューニングしてみた

結論から言うとGPT-3.5 Turboをファインチューニングして、なぞかけを解いてくれるモデルを作ろうとしましたが、あまりうまくいきませんでした。しかしこの実験を通じて、…

5分で大規模言語モデル(LLM)を直感的に理解する

大規模言語モデル(LLM)とはこれまでAI分野の知識にあまり触れたことがない方が大雑把にChatGPTをはじめとする大規模言語モデル(LLM: Large Language Model)について短時間…

マッチングアプリのおすすめ表示の仕組み 相互推薦アルゴリズムの紹介

この記事ではマッチングアプリで使われるレコメンドアルゴリズムの一例を簡単に紹介します。ですので、巷でよくあるマッチングアプリの攻略法を説いた指南書ではありません…

AIによる画像修復

今回はAIの応用例の一つとして画像修復の技術を紹介します。AI、とくにディープラーニングは画像処理を中心にここ数年で大きな進歩をもたらしています。画像にディープラー…

評価経済社会の到来

自宅で過ごす時間が長くなってからYouTubeをよく見るようになった。たまたま見たホリエモンの動画に岡田斗司夫という人物と対談する場面があった。普段は知ったかぶりで上…

因果推論を使うときに注意したほうがいいこと(ビジネス編)

因果推論をビジネスで使うときに個人的に苦労したこと、気をつけていることを紹介したい。ここでは細かい理論の話はしない。技術的な話ではなく、あくまでビジネス寄りな内…

在宅勤務で社員だけではなく会社も"場所"から解放される

コロナウイルスの感染拡大を受け、期せずしてリモートワークの動きが加速し始めた。リモートワークの普及は、仕事は従業員同士が対面で業務すべきという常識を崩すと同時に…

リスクはオーダーメイドの時代に

高度に情報が蓄積された未来ではリスクは個別に最適化される。 そして保険料、金利、その他の様々なリスク評価や判断基準が一人ひとりにオーダーメイド化されるようになる…

radikoのレコメンド機能実装プロジェクトを勝手に妄想する

radikoを使っていて、ふと「radikoよくやったな、でも大変だっただろうな」と感じたところをデータサイエンティスト視点で書いていきます。 ラジオが好き1日が24時間では…

天気予報を例に機械学習の特徴を理解する

AI、ビッグデータ、機械学習。最近これらのワードを目にする機会が本当に多くなりました。普段の仕事でデータ活用に関わる業務をされていなくても、社内でデータ活用の話を…

データ分析・AIの現在、未来について

記念すべき第1回目の投稿。この投稿では、まず私自身について軽く自己紹介し、これから私がnoteで何を発信していこうと考えているかを中心に話していきたい。 データサイ…

あなたのタイムラインのツイートはどのように決まっているのか【Twitterレコメンドの仕組み】

あなたのタイムラインのツイートはどのように決まっているのか【Twitterレコメンドの仕組み】

アルゴリズムの突然の公開先日、Twitter社がこれまで非公開だったレコメンドアルゴリズムのソースコードを公開しました。ソースコードはGitHubで公開されており、これは主に「ツイッターの"For you"の画面に表示するツイートをどのように選ぶか」というレコメンドの仕組みについてのコードになっています。
この投稿では、"For You"のタイムラインで表示されるツイートがどのような仕組みで決まっ

もっとみる
ChatGPTのモデルをファインチューニングしてみた

ChatGPTのモデルをファインチューニングしてみた

結論から言うとGPT-3.5 Turboをファインチューニングして、なぞかけを解いてくれるモデルを作ろうとしましたが、あまりうまくいきませんでした。しかしこの実験を通じて、ファインチューニングによって実現できること、実現できないことがわかってきました。
ファインチューニングによってできることは、回答のフォーマットを統一したり言葉遣いを揃えたりすることです。
逆にできないことは、もともと答えられない

もっとみる
5分で大規模言語モデル(LLM)を直感的に理解する

5分で大規模言語モデル(LLM)を直感的に理解する

大規模言語モデル(LLM)とはこれまでAI分野の知識にあまり触れたことがない方が大雑把にChatGPTをはじめとする大規模言語モデル(LLM: Large Language Model)について短時間でイメージをつかめるように簡潔な説明を用意しました。大規模言語モデルを「大規模」「言語」「モデル」とそれぞれ分解して説明することで、LLMにはどのような特徴があり従来のAIとはどのような違いがあるのか

もっとみる
マッチングアプリのおすすめ表示の仕組み 相互推薦アルゴリズムの紹介

マッチングアプリのおすすめ表示の仕組み 相互推薦アルゴリズムの紹介

この記事ではマッチングアプリで使われるレコメンドアルゴリズムの一例を簡単に紹介します。ですので、巷でよくあるマッチングアプリの攻略法を説いた指南書ではありません。しかし、この記事を読んでもらえればマッチングアプリの性質をより深く理解できると思いますし、このレコメンドアルゴリズムの応用範囲はマッチングアプリにとどまらず様々な場面で活用可能だと理解してもらえるはずです。

※私は業務等でマッチングアプ

もっとみる
AIによる画像修復

AIによる画像修復

今回はAIの応用例の一つとして画像修復の技術を紹介します。AI、とくにディープラーニングは画像処理を中心にここ数年で大きな進歩をもたらしています。画像にディープラーニングを使った事例は既にいくつもありますが、今回は私が個人的に面白くて応用性の高いと感じた画像修復についてご説明します。

画像修復とは文字で説明するより、まずは画像を見たほうが早いですね。

AIモデルに左の画像を読み込ませると右の画

もっとみる
評価経済社会の到来

評価経済社会の到来

自宅で過ごす時間が長くなってからYouTubeをよく見るようになった。たまたま見たホリエモンの動画に岡田斗司夫という人物と対談する場面があった。普段は知ったかぶりで上から目線(勝手なイメージ)のあのホリエモンが「なるほど~」と岡田斗司夫の話を感心しながら聞いていた。

岡田斗司夫とはいったいどういう人物なのかと調べると、彼もYouTubeで動画を配信しているらしい。彼はアニメからSFまで幅広い分野

もっとみる
因果推論を使うときに注意したほうがいいこと(ビジネス編)

因果推論を使うときに注意したほうがいいこと(ビジネス編)

因果推論をビジネスで使うときに個人的に苦労したこと、気をつけていることを紹介したい。ここでは細かい理論の話はしない。技術的な話ではなく、あくまでビジネス寄りな内容。因果推論の分析をする人にはもちろん、因果推論の分析を依頼する側の人にも読んでほしい。

私は現在データサイエンティストとして働いているが、学生時代には計量経済学を専攻し、統計的因果推論の手法を用いた研究をしていた。因果推論は理論的な裏付

もっとみる
在宅勤務で社員だけではなく会社も"場所"から解放される

在宅勤務で社員だけではなく会社も"場所"から解放される

コロナウイルスの感染拡大を受け、期せずしてリモートワークの動きが加速し始めた。リモートワークの普及は、仕事は従業員同士が対面で業務すべきという常識を崩すと同時に、オフィスは立地の良い場所に十分な広さで構えるべきという固定概念をも変えてしまうのではないか。従業員の物理的な出社機会が減少することで、従来オフィスに必要とされていた条件が見直されることになると考えられる。

リモートワークへの意識の高まり

もっとみる
リスクはオーダーメイドの時代に

リスクはオーダーメイドの時代に

高度に情報が蓄積された未来ではリスクは個別に最適化される。
そして保険料、金利、その他の様々なリスク評価や判断基準が一人ひとりにオーダーメイド化されるようになる。

情報がないことは信用がないこということリスクは安心の裏返し。そして安心は情報によって得られる。
例えば、人に1万円を貸してほしいと頼まれたとする。通りすがりの見知らぬ人に1万円を貸すのはとても不安だ。でももしその人がお金持ちだという情

もっとみる
radikoのレコメンド機能実装プロジェクトを勝手に妄想する

radikoのレコメンド機能実装プロジェクトを勝手に妄想する

radikoを使っていて、ふと「radikoよくやったな、でも大変だっただろうな」と感じたところをデータサイエンティスト視点で書いていきます。

ラジオが好き1日が24時間では足りない。最近は特にそう思うことが多い。何かの期限に追われているわけではないが、起きている時間は常に何かをしている。そんなとき、ラジオというのは私たちの生活にすっと寄り添ってくれるメディアだ。家事をしながら、運転しながら、入

もっとみる
天気予報を例に機械学習の特徴を理解する

天気予報を例に機械学習の特徴を理解する

AI、ビッグデータ、機械学習。最近これらのワードを目にする機会が本当に多くなりました。普段の仕事でデータ活用に関わる業務をされていなくても、社内でデータ活用の話を聞いたことがあるという方も多いのではないでしょうか。近い将来には人間の仕事を奪うとまで言われているAIですが、実際に今の自分の業務をAIがどのようにこなすのか、そもそも置き換えることは可能なのかをイメージすることは簡単ではありません。

もっとみる
データ分析・AIの現在、未来について

データ分析・AIの現在、未来について

記念すべき第1回目の投稿。この投稿では、まず私自身について軽く自己紹介し、これから私がnoteで何を発信していこうと考えているかを中心に話していきたい。

データサイエンティストとしての経験私は現在データサイエンティストとして企業で働いている。Wikipediaによるとデータサイエンスとは、"データを用いて新たな科学的および社会に有益な知見を引き出そうとするアプローチのこと"とあり、データサイエン

もっとみる