メンバーシップ

澁谷直樹

AI情報を「わかりやすく、具体的に」。AIに興味のあるエンジニアなどを念頭に、人工知能…

澁谷直樹

AI情報を「わかりやすく、具体的に」。AIに興味のあるエンジニアなどを念頭に、人工知能、機械学習、ディープラーニング、量子コンピーティング、プログラミングなどの情報発信を目指しています。

メンバーシップに加入する

メンバーシップに参加すると、すべての記事とマガジンが読み放題になります。 初月無料、￥1,000/月

  • キカベン・読み放題

    ¥1,000 / 月
    初月無料

  • 古典機械学習を学ぶ

    線形回帰、ロジスティック回帰、正則化、決定木、サポートベクトルマシン、クラスタリング、次元削減などの機械学習の仕組みを解説していく予定です。

  • 巨大言語モデル（LLMs）の衝撃

    巨大言語モデル（LLMs）関連の記事を集めました。

  • 論文を読んで学ぶ

    論文を読みながら学ぶスタイルの記事を書きます。

  • 自然言語AI

    自然言語AIの進化史を辿り、大型言語モデルの成功に至るまでの道のりを探ります。

  • 画像分類 AI

    画像分類はディープラーニングでいち早く成功した分野になります。画像分類のAIを理解することは他の分野のAIを理解する土台となります。

すべてのマガジンを表示

scikit-learn機械学習⑳k近傍アルゴリズム

前回は、勾配ブースティングによる分類の実験を行いました。 これまでブースティング、バギング、ランダム・フォレスト、決定木などを扱ってきましたが、これらは全てノンパラメトリックな手法です。 ノンパラメトリックの意味は後で解説しますが、今回紹介するk近傍アルゴリズム（k近傍法、k-Nearest Neighbors、k-NN）もノンパラメトリックな手法になります。 k-近傍アルゴリズム（以下、k-NN）の基本的な仕組みは単純です。以下、分類を例として解説します。 下図を見

¥1,000
澁谷直樹

    • GPT-2を読む②構造と方針

      前回は、OpenAIが2019年に発表した論文「Language Models are Unsupervised Multitask Learners」（GPTのバージョン２）の要約と結論を読みました。 要約と結論から、いくつかの疑問も湧き起こりました。これから読み進むにつれてその解答合わせもできることを目指しています。 さて今回は、疑問に思っていることなどを踏まえて、どのあたりに注力して読むかを決めます。まずは、論文の全体構造をざっと見回して、軽く図や表に触れていきます

      ¥1,000
      澁谷直樹

      • 言語AIの進化史④意味ネットワーク

        前回は、1960年代頃から台頭したエキスパート・システムについて解説しました。人工無能がどちらかというと対話の表面的な流れを維持するためのルールの集合あったのに対し、エキスパート・システムは、専門的な「知識」を蓄積した上で、ルールに従って利用することにフォーカスしていました。 しかし、知識の収集し蓄積するために膨大な手作業が必要でした。 人間の専門家からの知識をインタビューなどを通して獲得し正確に記録しなくてはなりません。ところが、自然言語による表現に秘められた意味は、経

        ¥1,000
        澁谷直樹

        • scikit-learn機械学習⑲GBC実践編

          前回は、勾配ブースティングの理論的な側面を解説しました。今回は、scikit-learnのGradientBoostingClassifier（GBC）を使って実験を行います。 まずは、デフォルトのパラメータで学習・評価を行い、その後にランダム・サーチを使ってより性能を高められるかどうかを確認します。さらに、アダブーストとの比較も行います。 また、重要な特徴量をグラフ表示して考察を行います。テクニックとして、ラベルごとに特徴量の重要度を表示する方法を紹介します。

          ¥1,000
          澁谷直樹

        scikit-learn機械学習⑳k近傍アルゴリズム

        ¥1,000
        澁谷直樹

        マガジン

        • 古典機械学習を学ぶ
          22本
        • 論文を読んで学ぶ
          21本
        • 巨大言語モデル（LLMs）の衝撃
          40本
        • 自然言語AI
          5本
        • 画像分類 AI
          37本
        • トランスフォーマーを理解する
          22本

        メンバーシップ

        • scikit-learn機械学習⑳k近傍アルゴリズム

        • GPT-2を読む②構造と方針

        • 言語AIの進化史④意味ネットワーク

        • scikit-learn機械学習⑲GBC実践編

        • scikit-learn機械学習⑳k近傍アルゴリズム

        • GPT-2を読む②構造と方針

        • 言語AIの進化史④意味ネットワーク

        • scikit-learn機械学習⑲GBC実践編

        メンバー特典記事

          scikit-learn機械学習⑳k近傍アルゴリズム

          前回は、勾配ブースティングによる分類の実験を行いました。 これまでブースティング、バギング、ランダム・フォレスト、決定木などを扱ってきましたが、これらは全てノンパラメトリックな手法です。 ノンパラメトリックの意味は後で解説しますが、今回紹介するk近傍アルゴリズム（k近傍法、k-Nearest Neighbors、k-NN）もノンパラメトリックな手法になります。 k-近傍アルゴリズム（以下、k-NN）の基本的な仕組みは単純です。以下、分類を例として解説します。 下図を見

          澁谷直樹

          scikit-learn機械学習⑳k近傍アルゴリズム

          澁谷直樹

          GPT-2を読む②構造と方針

          前回は、OpenAIが2019年に発表した論文「Language Models are Unsupervised Multitask Learners」（GPTのバージョン２）の要約と結論を読みました。 要約と結論から、いくつかの疑問も湧き起こりました。これから読み進むにつれてその解答合わせもできることを目指しています。 さて今回は、疑問に思っていることなどを踏まえて、どのあたりに注力して読むかを決めます。まずは、論文の全体構造をざっと見回して、軽く図や表に触れていきます

          澁谷直樹

          GPT-2を読む②構造と方針

          澁谷直樹

          言語AIの進化史④意味ネットワーク

          前回は、1960年代頃から台頭したエキスパート・システムについて解説しました。人工無能がどちらかというと対話の表面的な流れを維持するためのルールの集合あったのに対し、エキスパート・システムは、専門的な「知識」を蓄積した上で、ルールに従って利用することにフォーカスしていました。 しかし、知識の収集し蓄積するために膨大な手作業が必要でした。 人間の専門家からの知識をインタビューなどを通して獲得し正確に記録しなくてはなりません。ところが、自然言語による表現に秘められた意味は、経

          澁谷直樹

          言語AIの進化史④意味ネットワーク

          澁谷直樹

          scikit-learn機械学習⑲GBC実践編

          前回は、勾配ブースティングの理論的な側面を解説しました。今回は、scikit-learnのGradientBoostingClassifier（GBC）を使って実験を行います。 まずは、デフォルトのパラメータで学習・評価を行い、その後にランダム・サーチを使ってより性能を高められるかどうかを確認します。さらに、アダブーストとの比較も行います。 また、重要な特徴量をグラフ表示して考察を行います。テクニックとして、ラベルごとに特徴量の重要度を表示する方法を紹介します。

          澁谷直樹

          scikit-learn機械学習⑲GBC実践編

          澁谷直樹

          GPT-2を読む①要約と結論

          前回までに、GPT-1を読み終えました。今回から、OpenAIが2019年に発表した論文「Language Models are Unsupervised Multitask Learners」を読んでいきます。これは、GPTのバージョン２の論文です。 バージョン１の翌年に発表されたこの論文の著者の中には、以前同様にIlya Sutskeverの名があります。彼は2012年にImageNetのコンペで優勝しディープラーニングを一躍有名にしたAlexNet の論文の著者の一人

          澁谷直樹

          GPT-2を読む①要約と結論

          澁谷直樹

          言語AIの進化史③エキスパートシステム

          前回は、初期のチャットボットであるイライザ（ELIZA）に注目しました。 イライザによる理解は、ユーザーが入力した文字列からのパターンの認識によるものでした。また、イライザによる応答は、パターンに対応するテンプレートにユーザーからの入力を当てはめるというルールベースの手法によるものでした。 その仕組みは単純でも、上手に設定されたスクリプト（パターンとテンプレート）によって、人々を魅了する力がありました。特に、心理療法士のように振る舞う「DOCTOR」スクリプトが有名で、ユ

          澁谷直樹

          言語AIの進化史③エキスパートシステム

          澁谷直樹

        記事

          GPT-2を読む①要約と結論

          前回までに、GPT-1を読み終えました。今回から、OpenAIが2019年に発表した論文「Language Models are Unsupervised Multitask Learners」を読んでいきます。これは、GPTのバージョン２の論文です。 バージョン１の翌年に発表されたこの論文の著者の中には、以前同様にIlya Sutskeverの名があります。彼は2012年にImageNetのコンペで優勝しディープラーニングを一躍有名にしたAlexNet の論文の著者の一人

          ¥1,000
          澁谷直樹

          GPT-2を読む①要約と結論

          ¥1,000
          澁谷直樹

          言語AIの進化史③エキスパートシステム

          前回は、初期のチャットボットであるイライザ（ELIZA）に注目しました。 イライザによる理解は、ユーザーが入力した文字列からのパターンの認識によるものでした。また、イライザによる応答は、パターンに対応するテンプレートにユーザーからの入力を当てはめるというルールベースの手法によるものでした。 その仕組みは単純でも、上手に設定されたスクリプト（パターンとテンプレート）によって、人々を魅了する力がありました。特に、心理療法士のように振る舞う「DOCTOR」スクリプトが有名で、ユ

          ¥1,000
          澁谷直樹

          言語AIの進化史③エキスパートシステム

          ¥1,000
          澁谷直樹

          scikit-learn機械学習⑱勾配ブースティング

          前回は、グリッド・サーチとランダム・サーチでアダブーストのハイパーパラメータのチューニングを行いました。 今回は、アダブーストと同じブースティングの一種である、勾配ブースティング（Gradient Boosting）を紹介します。 残差（予測誤差）を減らすために弱学習器を追加していくというのが基本的なアプローチです。この学習プロセスを解説します。 なお、勾配ブースティングにおける残差と勾配の関係を理解し、なぜ勾配ブースティングが機能するのかを解説します。

          ¥1,000
          澁谷直樹

          scikit-learn機械学習⑱勾配ブースティング

          ¥1,000
          澁谷直樹

          GPT-1を読む⑧実験分析

          前回は、までに、OpenAIが2018年に発表したGPTの最初のバージョンの論文「Improving Language Understanding by Generative Pre-Training」のセクション３.３「タスク特有の入力変換」（Task-specific input transformations）を読み終えました。 これで方針としていた「教師なしの事前学習」と「ファインチューニング」などの仕組みを理解するという目的は達成しました。 今回は実験の結果とその

          ¥1,000
          澁谷直樹

          GPT-1を読む⑧実験分析

          ¥1,000
          澁谷直樹

          言語AIの進化史②イライザの仕組み

          前回は、チューリング・テストを軸に、言語による応答を通して知性を測るというテーマについていくつかの概念を紹介しました。今回は、その中で登場した人工無能 イライザ（ELIZA）（1966年）に再びスポットライトを当てます。 初期のチャットボットであるイライザは、設定ファイル（スクリプト）によってその挙動が変わります。特に有名なのがDOCTORスクリプトです。LinuxやmacOSで使えるテキスト・エディタのemacsに標準でインストールいます。 emacsエディタのコマンド

          ¥1,000
          澁谷直樹

          言語AIの進化史②イライザの仕組み

          ¥1,000
          澁谷直樹

          scikit-learn機械学習⑰ランダム・サーチ

          前回は、アダブーストで簡単な実験を行いましたが、ハイパーパラメータのチューニングの必要性が課題となりました。よって、今回は、scikit-learnにあるハイパーパラメータのチューニングのためのツールを使います。 最も単純なのは、以前にも登場したグリッド・サーチ（Grid Search）と呼ばれる手法で、調節したい各ハイパーパラメータに対して試したい値のリストを準備し、その組み合わせをすべて順番に実行して一番良い性能を出すパラメータ値の組み合わせを決定します。 例えば、A

          ¥1,000
          澁谷直樹

          scikit-learn機械学習⑰ランダム・サーチ

          ¥1,000
          澁谷直樹

          GPT-1を読む⑦入力変換

          前回までに、OpenAIが2018年に発表したGPTの最初のバージョンの論文「Improving Language Understanding by Generative Pre-Training」のセクション３.２「教師ありファインチューニング」（Supervised fine-tuning）を読み終えました。 これによって、事前学習されたモデルを特定のタスクへと微調整するための目的関数を数学的に理解しました。 よって、これまでに、事前学習とファインチューニングの枠組み

          ¥1,000
          澁谷直樹

          GPT-1を読む⑦入力変換

          ¥1,000
          澁谷直樹

          言語AIの進化史①チューリング・テスト

          今回から言語AIの進化史のシリーズを開始します。第一回で取り上げるのは「チューリング・テスト」です。これを取り上げたのには理由があります。 チューリング・テストを発案したのは、イギリスの数学者アラン・チューリング（Alan Turing）です。彼は、コンピュータ科学や人工知能などの分野において非常に重要な貢献をしました。 さて、チューリング・テストは、アラン・チューリングが1950年に『Computing Machinery and Intelligence』で発案した人

          ¥1,000
          澁谷直樹

          言語AIの進化史①チューリング・テスト

          ¥1,000
          澁谷直樹

          scikit-learn機械学習⑯アダブースト実践編

          前回は、アダブーストの理論的な側面を紹介しました。今回は、scikit-learnを使って簡単な実験を行います。 今回使うデータセット digits は数字の画像データです。各数字は、８x８ピクセルの画像で、ラベルは０から９までの10個のクラスになります。 以下は、digits からのサンプル画像です。 このような画像を scikit-learnの AdaBoostClassifier で分類します。 まず、いつものように探索的なデータ分析を行います。次に、データセッ

          ¥1,000
          澁谷直樹

          scikit-learn機械学習⑯アダブースト実践編

          ¥1,000
          澁谷直樹

          GPT-1を読む⑥微調整

          前回までに、OpenAIが2018年に発表したGPTの最初のバージョンの論文「Improving Language Understanding by Generative Pre-Training」のセクション３.１「教師なし事前学習」（Unsupervised pre-training）を読み終えました。 これでGPT-1における事前学習の数学的な枠組みが理解できました。 よって、今回はセクション３.２「教師ありファインチューニング」（Supervised fine-t

          ¥1,000
          澁谷直樹

          GPT-1を読む⑥微調整

          ¥1,000
          澁谷直樹

          分類AIの進化史㉖その後のFFN系モデル

          前回は、「その後のViT系モデル」と称して、以前に紹介したViT（ビジョン・トランスフォーマー）系のモデルの後継バージョンの紹介をしました。ViTからの派生モデルもまだまだ進化が続いていることが伺えました。 今回は、次世代のフィードフォワード（FFN）系と称して、畳み込みもアテンションも使わないアーキテクチャであるMLP-Mixerの関連モデルをいくつか紹介します。MLP-Mixerはシンプルな構造でありながら、高い性能を発揮したためその後のFFN系モデルも進化を続けていま

          ¥1,000
          澁谷直樹

          分類AIの進化史㉖その後のFFN系モデル

          ¥1,000
          澁谷直樹

          scikit-learn機械学習⑮アダブースト

          前回は、ランダム・フォレストを使って実験しました。今回は、ブースティング（Boosting）の一種であるアダブーストを取り上げます。 振り返ってみると、ランダム・フォレストは、アンサンブル学習の一つであるバギングを改良したものでした。ただし、アンサンブル学習には他にも種類があります。特によく知られているのが、ブースティングです。バギングとブースティングはなんとなく似ているという印象を持つ方もいるかもしれませんが、今回の記事ではその違いを明確に解説します。 なお、バギングも

          ¥1,000
          澁谷直樹

          scikit-learn機械学習⑮アダブースト

          ¥1,000
          澁谷直樹