メンバーシップ

澁谷直樹

AI情報を「わかりやすく、具体的に」。AIに興味のあるエンジニアなどを念頭に、人工知能…

澁谷直樹

AI情報を「わかりやすく、具体的に」。AIに興味のあるエンジニアなどを念頭に、人工知能、機械学習、ディープラーニング、量子コンピーティング、プログラミングなどの情報発信を目指しています。

メンバーシップに加入する

メンバーシップに参加すると、すべての記事とマガジンが読み放題になります。

  • キカベン・読み放題

    ¥1,000 / 月
    初月無料

  • 論文を読んで学ぶ

    論文を読みながら学ぶスタイルの記事を書きます。

  • 巨大言語モデル（LLMs）の衝撃

    巨大言語モデル（LLMs）関連の記事を集めました。

  • 古典機械学習を学ぶ

    線形回帰、ロジスティック回帰、正則化、決定木、サポートベクトルマシン、クラスタリング、次元削減などの機械学習の仕組みを解説していく予定です。

  • 画像分類 AI

    画像分類はディープラーニングでいち早く成功した分野になります。画像分類のAIを理解することは他の分野のAIを理解する土台となります。

  • 画像生成 AI

    画像生成AI関連の記事。随時追加予定。

すべてのマガジンを表示

GPT1を読む④事前

前回は、OpenAIが2018年に発表したGPTの最初のバージョンの論文「Improving Language Understanding by Generative Pre-Training」を読む方針を決めました。 まずは、「３ Framework」（セクション３「フレームワーク」）を重点的に読むことにしました。これによって、GPT1における「教師なしの事前学習」と「ファインチューニング」などの理解を深めるのが目的です。 今回からの数記事で、このセクションの全体を読み

澁谷直樹

    • scikit-learn機械学習⑭ランダム・フォレスト実践編

      前回は、ランダム・フォレスト（Random Forest）の理論的な側面を解説しました。今回は、scikit-learnを使って実験を行います。 データセットとしては、scikit-learn.datasetsからワイン（wine)を使用します。今回初めて使うデータセットなので、簡単な分析をしてグラフなどを見ていきます。 あとは、いつものようにデータセットを訓練用とテスト用に分割します。訓練用のデータセットにランダム・フォレストをフィットさせます。そして、学習を終えたモデ

      澁谷直樹

      • 分類AIの進化史㉔その後のCNN系モデル

        前回は、ConvNeXt（Meta、2022年）を紹介しました。このモデルでは、Vision Transformer（ViT）などからのアイデアを取り入れて、ResNetをベースにし、畳み込みニューラルネットワーク（CNN）の性能向上を追求しました。 これまでメジャーな画像分類モデルを解説してきましたが、もちろんカバーしていないモデルや論文は無数にあります。それでも、2022年ごろまでのモデルたちに到達したので、このシリーズもそろそろ完結に近づいています。 そこで、以前に

        澁谷直樹

        • GPT1を読む③方針

          前回までに、OpenAIが2018年に発表したGPTの最初のバージョンの論文「Improving Language Understanding by Generative Pre-Training」の要約と結論を読みました。今回は、論文を構成を掴みながら図や表などに目を通します。まだ、要約や結論を読んでいない方は前回や前々回の記事を参考にしてください。 いつものように今回も、論文のセクションを読む順番は、以前に紹介した論文の読み方に大体従っています。どのセクションに注力して

          澁谷直樹

        GPT1を読む④事前

        澁谷直樹

        マガジン

        • 論文を読んで学ぶ
          15本
        • 巨大言語モデル（LLMs）の衝撃
          35本
        • 古典機械学習を学ぶ
          16本
        • 画像分類 AI
          35本
        • 画像生成 AI
          20本
        • トランスフォーマーを理解する
          22本

        メンバーシップ

        • GPT1を読む④事前

        • scikit-learn機械学習⑭ランダム・フォレスト実践編

        • 分類AIの進化史㉔その後のCNN系モデル

        • GPT1を読む③方針

        • GPT1を読む④事前

        • scikit-learn機械学習⑭ランダム・フォレスト実践編

        • 分類AIの進化史㉔その後のCNN系モデル

        • GPT1を読む③方針

        メンバー特典記事

          GPT1を読む④事前

          「キカベン・読み放題」に参加すると最後まで読めます

          前回は、OpenAIが2018年に発表したGPTの最初のバージョンの論文「Improving Language Understanding by Generative Pre-Training」を読む方針を決めました。 まずは、「３ Framework」（セクション３「フレームワーク」）を重点的に読むことにしました。これによって、GPT1における「教師なしの事前学習」と「ファインチューニング」などの理解を深めるのが目的です。 今回からの数記事で、このセクションの全体を読み

          澁谷直樹

          GPT1を読む④事前

          澁谷直樹

          scikit-learn機械学習⑭ランダム・フォレスト実践編

          「キカベン・読み放題」に参加すると最後まで読めます

          前回は、ランダム・フォレスト（Random Forest）の理論的な側面を解説しました。今回は、scikit-learnを使って実験を行います。 データセットとしては、scikit-learn.datasetsからワイン（wine)を使用します。今回初めて使うデータセットなので、簡単な分析をしてグラフなどを見ていきます。 あとは、いつものようにデータセットを訓練用とテスト用に分割します。訓練用のデータセットにランダム・フォレストをフィットさせます。そして、学習を終えたモデ

          澁谷直樹

          scikit-learn機械学習⑭ランダム・フォレスト実践編

          澁谷直樹

          分類AIの進化史㉔その後のCNN系モデル

          「キカベン・読み放題」に参加すると最後まで読めます

          前回は、ConvNeXt（Meta、2022年）を紹介しました。このモデルでは、Vision Transformer（ViT）などからのアイデアを取り入れて、ResNetをベースにし、畳み込みニューラルネットワーク（CNN）の性能向上を追求しました。 これまでメジャーな画像分類モデルを解説してきましたが、もちろんカバーしていないモデルや論文は無数にあります。それでも、2022年ごろまでのモデルたちに到達したので、このシリーズもそろそろ完結に近づいています。 そこで、以前に

          澁谷直樹

          分類AIの進化史㉔その後のCNN系モデル

          澁谷直樹

          GPT1を読む③方針

          「キカベン・読み放題」に参加すると最後まで読めます

          前回までに、OpenAIが2018年に発表したGPTの最初のバージョンの論文「Improving Language Understanding by Generative Pre-Training」の要約と結論を読みました。今回は、論文を構成を掴みながら図や表などに目を通します。まだ、要約や結論を読んでいない方は前回や前々回の記事を参考にしてください。 いつものように今回も、論文のセクションを読む順番は、以前に紹介した論文の読み方に大体従っています。どのセクションに注力して

          澁谷直樹

          GPT1を読む③方針

          澁谷直樹

          scikit-learn機械学習⑬ランダム・フォレスト

          「キカベン・読み放題」に参加すると最後まで読めます

          前回は、scikit-learnのDecisionTreeClassifierを使って決定木（Decision Tree）の実験を行いました。今回は、その知識をさらに拡張して、ランダム・フォレスト（Random Forest）について解説します。 大雑把に説明すると、ランダム・フォレストはたくさんの決定木を作って、それぞれの決定木に予測をさせます。そして、一番多くの「投票」を得たクラスがモデルの予測として採用されます。決定するための木がたくさんあるのでフォレスト（森）という

          澁谷直樹

          scikit-learn機械学習⑬ランダム・フォレスト

          澁谷直樹

          分類AIの進化史㉓ConvNeXt

          「キカベン・読み放題」に参加すると最後まで読めます

          前回は、畳み込みもアテンションも使うMobileViT（Apple、2021年）を解説しました。前々回は、畳み込みもアテンションも使わないMLP-Mixer（Google、2021年）の解説をしました。 今回は、畳み込みニューラルネットワーク（CNN）の性能向上を追求したConvNeXt（Meta、2022年）を紹介します。ResNetをベースにし、Vision Transformer（ViT）などからのアイデアを取り入れて精度の向上に成功しました。 しかし、なぜ2020

          澁谷直樹

          分類AIの進化史㉓ConvNeXt

          澁谷直樹

        記事

          scikit-learn機械学習⑬ランダム・フォレスト

          前回は、scikit-learnのDecisionTreeClassifierを使って決定木（Decision Tree）の実験を行いました。今回は、その知識をさらに拡張して、ランダム・フォレスト（Random Forest）について解説します。 大雑把に説明すると、ランダム・フォレストはたくさんの決定木を作って、それぞれの決定木に予測をさせます。そして、一番多くの「投票」を得たクラスがモデルの予測として採用されます。決定するための木がたくさんあるのでフォレスト（森）という

          澁谷直樹

          scikit-learn機械学習⑬ランダム・フォレスト

          澁谷直樹

          分類AIの進化史㉓ConvNeXt

          前回は、畳み込みもアテンションも使うMobileViT（Apple、2021年）を解説しました。前々回は、畳み込みもアテンションも使わないMLP-Mixer（Google、2021年）の解説をしました。 今回は、畳み込みニューラルネットワーク（CNN）の性能向上を追求したConvNeXt（Meta、2022年）を紹介します。ResNetをベースにし、Vision Transformer（ViT）などからのアイデアを取り入れて精度の向上に成功しました。 しかし、なぜ2020

          澁谷直樹

          分類AIの進化史㉓ConvNeXt

          澁谷直樹

          GPT1を読む②結論

          前回は、要約を読んで論文の主張を理解しました。今回は論文の読み方に従って結論から読み進めていきます。 まずは、論文の主張を簡単におさらいしてから、結論がそれをしっかりと肯定しているのか確認していきます。

          澁谷直樹

          GPT1を読む②結論

          澁谷直樹

          scikit-learn機械学習⑫決定木（Decision Tree）実践編

          前回は、決定木（Decision Tree）の理論的な側面を解説しました。今回は、scikit-learnを使って実験を行います。 データセットとしては、scikit-learn.datasets からアイリス（iris、アヤメ）を使用します。タスクは、このデータセットに含まれる花の特徴から花の種類を予測することです。ナイーブ・ベイズの実践編でも使ったので、結果を比較できます。 まずは、データセットを訓練用とテスト用に分割します。次に、訓練用のデータセットから決定木を作成

          澁谷直樹

          scikit-learn機械学習⑫決定木（Decision Tree）実践編

          澁谷直樹

          分類AIの進化史㉒MobileViT

          前回は、畳み込みもアテンションも使わないMLP-Mixerの解説をしました。今回は、畳み込みもアテンションも使う（組み合わせた）MobileViTを紹介します。 MobileViTの論文は、2021年にAppleが発表しました。 そのタイトルは「MobileViT: Light-weight, General-purpose, and Mobile-friendly Vision Transformer」で、日本語に訳すとしたら「MobileViT: 軽量、汎用、モバイル

          澁谷直樹

          分類AIの進化史㉒MobileViT

          澁谷直樹

          GPT1を読む①要約

          今回からは、OpenAIが2018年に発表した論文「Improving Language Understanding by Generative Pre-Training」を読んでいきます。これは、GPTの最初のバージョンの論文です。 著者の中に、Sam Altmanを解任劇の主要人物であるIlya Sutskeverの名もあります。ちなみに、彼は AlexNet の論文の著者の一人でもあります。 なお、トランスフォーマーに関する知識を必要とするので、こちらも参考にしてく

          澁谷直樹

          GPT1を読む①要約

          澁谷直樹

          scikit-learn機械学習⑪決定木（Decision Tree）

          前回は、ナイーブ・ベイズを実装しました。今回は、決定木（Decision Tree）を解説します。 決定木は、データセットを分割し、木構造を作ります。下図は、アイリス（Iris）のデータセットを使用して訓練された決定木モデルの可視化です。scikit-learnで生成することが出来ます。 詳細は記事の中で解説しますが、この決定木モデルは、花の特徴（花弁とがく片の長さと幅）に基づいて、アイリスの3種類（Setosa、Versicolor、Virginica）に分類しています

          澁谷直樹

          scikit-learn機械学習⑪決定木（Decision Tree）

          澁谷直樹

          分類AIの進化史㉑MLP-Mixer

          前回は、CLIPを解説しました。今回は、2021年にGoogleが発表した畳み込みもアテンションも使わないMLP-Mixerを紹介します。 2012年、ImageNetコンペティションでAlexNetが登場して以来、「画像処理といえば畳み込みニューラルネットワーク（CNN）」というのが一般的な考え方でした。畳み込みは、画像から特徴を抽出する強力な方法として広く認識されています。CNNはその後も発展し続けています。 一方、言語処理の分野では、2017年に登場した「トランスフ

          澁谷直樹

          分類AIの進化史㉑MLP-Mixer

          澁谷直樹

          トランスフォーマーの論文を読む⑩自己

          前回は、位置エンコーディングについて解説しました。今回は、自己アテンションにフォーカスしながら論文を読み進めていきます。 まず、アテンションを使う３つの理由について考察します。さらに、ネットワーク内でどのように情報が流れるかについて、アテンション、回帰、畳み込みに関する計算量を使って比較します。 また、アテンションを使うことで得られる解釈性についても触れます。 なお、今回はこの論文を読むシリーズの最終回です。

          澁谷直樹

          トランスフォーマーの論文を読む⑩自己

          澁谷直樹

          scikit-learn機械学習⑩ナイーブ・ベイズ実践編

          前回は、ナイーブ・ベイズの理論的な側面を解説しました。今回は、この理論を実際のコードに落とし込んで、具体的なデータ分析を行います。 データセットとしては、scikit-learn.datasets からアイリス（iris、アヤメ）を使用します。このデータセットに含まれる花の特徴から花の種類を予測するタスクは、統計的手法を用いるナイーブ・ベイズを試すのにピッタリです。 まずは、探索的なデータ分析を行い、学習とテストのためにデータに前処理を施します。そして、訓練を行った後に評

          澁谷直樹

          scikit-learn機械学習⑩ナイーブ・ベイズ実践編

          澁谷直樹

          分類AIの進化史⑳CLIP

          前回は、Swin Transformerを紹介しました。今回は、2021年にOpenAIが発表した論文Learning Transferable Visual Models From Natural Language Supervisionに登場するCLIPを解説します。 このタイトルを日本語に意訳すると「転移可能な画像分類モデルを自然言語で教師あり学習」といったところでしょうか。転移可能な画像分類モデルとは、特徴量の抽出に優れ転移学習などに応用できる画像分類モデルを意味し

          澁谷直樹

          分類AIの進化史⑳CLIP

          澁谷直樹

          トランスフォーマーの論文を読む⑨位置

          前回は、埋め込みについて解説しました。今回は、位置エンコーディングにフォーカスしながら論文を読み進めていきます。 位置エンコーディングは、前回解説した埋め込みの直後に行われる処理です。 ここでいう位置とは、入力シーケンスの要素（トークン）間の順序情報を意味します。トランスフォーマーモデルでは位置エンコーディングを通じて明示的に位置情報というデータをモデルに提供する必要があります。 しかし、その理由は何でしょうか。 また、位置エンコーディングはどのようにして行われるのか

          澁谷直樹

          トランスフォーマーの論文を読む⑨位置

          澁谷直樹