tanuki

わらびもちをよく食べます。

tanuki

わらびもちをよく食べます。

Optuna: Trial XX failed because the number of the values 18 did not match the number of the objectives 1

パラメーターチューニングしていたら上記エラーが出ました。あまりにも基本的なミスだからかググっても出なかったので一応原因書いておきます。 理由は単純で、objective(trial)関数の返り値がfloatだと思っていたらstrになってしまっていました。普通にfloatにキャストしてあげれば解消しました。 I got the above error when I was tuning parameters. I did not find the cause of the

tanuki

    • カーネル主成分分析をゆるふわに理解する(2/2)

      「カーネル多変量解析」をゆるふわに読んでいて、第3章に入ってきました。第3章の最初のテーマとして、カーネル主成分分析を取り上げています。 前回は、カーネル主成分分析の概要を紹介した上で、その手順をステップバイステップで導出しました。しかしその過程で、一つの誤魔化しをしました。この誤魔化しがない形に修正することが、今回の記事の目的です。 また、その修正が終わった上で、カーネル主成分分析を実装してみます。 前回のふりかえり カーネル主成分分析は、そのままでは線形分離しにく

      tanuki

      • カーネル主成分分析をゆるふわに理解する(1/2)

        （「カーネル多変量解析」をゆるふわに読むシリーズの第3章です。） 前々回と前回、主成分分析について書きました。主成分分析は前処理の一種で、サンプルデータのバラツキが最大になるような軸を主成分として取り出すことにより次元圧縮をするものでした。 ただ、主成分分析ではあまりうまくいかない例があります。例えば下の2つの図。どのように軸をとっても、赤と青はうまく分離しませんよね。 そこでカーネル主成分分析という方法が使えるそうです。今回は「カーネル主成分分析の概要紹介」と「手順の

        tanuki

        • 主成分分析のイメージを掴んで実装してみる(2/2)

          機械学習の前処理である次元削減について書いています。 次元削減には大きく特微量選択と特微量抽出があります。前々回はその全体像と特微量選択（逐次特微量選択）について書きました。前回は、特微量抽出のひとつである主成分分析の概要について書いてみました。 今回は、主成分分析の原理をゆるふわに見た上で、逐次特微量選択との比較をしてみたいと思います。 なお、この記事は「カーネル多変量解析」を読むシリーズの一部です。 前回のふりかえり 主成分分析は「データのバラツキが大きい軸を見

          tanuki

        Optuna: Trial XX failed because the number of the values 18 did not match the number of the objectives 1

        tanuki

          主成分分析のイメージを掴んで実装してみる(1/2)

          前回は次元削減の概要を掴んだ上で、特微量選択を行いました。なんか次元削減がわかってきたような気がします。そこでこの記事では、特微量抽出の方法として主成分分析を見ていきたいと思います。 ちなみにこの記事は「カーネル多変量解析」を読んでいるこのシリーズの脇道です。 この記事のゴール 主成分分析とはなんぞやの概要を理解する 共分散行列の固有ベクトルが主成分になるイメージを掴む 前回に引き続き、この本に大いに助けてもらっています。 主成分分析とはなんぞや 前回、機械学習

          tanuki

          主成分分析のイメージを掴んで実装してみる(1/2)

          tanuki

          次元削減の概要を掴んで実装してみる

          「カーネル多変量解析」を読んで、ゆるふわな理解を進めています。全体像はこちら。次から第3章ですが、そこで必要になる前提知識、主成分分析を理解したいなぁと思います。 が、その前に主成分分析のイメージを掴むための準備運動として次元削減を体感してみます。 この記事のゴール 次元削減の概念をざっくり理解するために、簡単な次元削減を実装してイメージを掴む。 ちなみに、今回の記事は下記の書籍をめちゃ参考にしています。 前処理としての次元削減 機械学習の流れを示すと、こんな感じ

          tanuki

          次元削減の概要を掴んで実装してみる

          tanuki

          カーネル多変量解析をゆるふわに読む-目次とおすすめの本-

          カーネル多変量解析を読みながらpythonでの実装などを書いてます。自習のため。ゆるふわになんとなく理解することを信条としています。 ここには、記事一覧とオススメ書籍を書きます。 記事一覧 本に沿ってテーマを選んでますが、説明している内容はかなりゆるふわになってるのでご了承ください。 第1章 カーネル法の概要をゆるふわに掴む(1/2) カーネル法の概要をゆるふわに掴む(2/2) 第2章 カーネル関数をゆるふわに掴む(1/2) カーネル関数をゆるふわに掴む(2/2)

          tanuki

          カーネル多変量解析をゆるふわに読む-目次とおすすめの本-

          tanuki

          カーネル関数をゆるふわに掴む(2/2)

          カーネル多変量分析を読んでいます。前回から第二章を読み始めました。 第一章はこちら このシリーズの目次はこちら おさらい n個のパラメータを持つ$${x=(x_1,x_2,…x_n)}$$から$${y}$$を推測したいというゴールを決めます。m個のサンプルデータ、$${x^{(1)},x^{(2)},…x^{(m)}}$$とその結果$${y^{(1)},y^{(2)},…y^{(m)}}$$を使って学習し、$${x^{(new)}}$$を与えると予想値$${y^{(ne

          tanuki

          カーネル関数をゆるふわに掴む(2/2)

          tanuki

          カーネル関数をゆるふわに掴む(1/2)

          前々回と前回、「カーネル多変量解析」の第一章をコード書きながら理解しようとしました。まぁゆるふわに理解できた気がします。 今回は第二章です。主にカーネル関数とは何か？的な話です。 このシリーズの目次はこちら 第一章の復習 サンプルデータがn個あるとします。一つ一つのサンプルデータは、複数のパラメータ（特微量）を持つ$${x^{(i)}}$$と結果の$${y^{(i)}}$$からなります($${i=1,2,…,n}$$)。 そのサンプルデータを説明するような関数$${

          tanuki

          カーネル関数をゆるふわに掴む(1/2)

          tanuki

          カーネル法の概要をゆるふわに掴む(2/2)

          前回の記事に続き「カーネル多変量解析」の第一章を読みながらコードを書いていきます。 このシリーズの目次はこちら 前回はカーネル法でサンプルデータを通る関数$${f(x)}$$を作りました。サンプルデータ全てを通ったのはいいのですが、過学習っぽくなってしまいました。 今回はサンプルデータを完全には通らなくても、かなり近くを通るし自然な感じの$${f(x)}$$を前回のコードを少し直して作ります。また、その完成したモデルのパラメータをいろいろ変えてみます。 この記事のゴー

          tanuki

          カーネル法の概要をゆるふわに掴む(2/2)

          tanuki

          カーネル法の概要をゆるふわに掴む(1/2)

          カーネル法がよくわからなかったので「カーネル多変量解析」を読み始めました。が、難しい……。 少しずつ読みながら、内容をpython使いながら噛み砕きつつ書いてみようと思います。線形代数苦手な人向け。どこか間違ってたらごめんなさい。 この記事では、第一章カーネル法概要を見てみます。二次元に点をランダムにマッピングして、それを通る近似曲線をカーネル法で求めてみます。 このシリーズの目次はこちら この記事のゴール サンプルデータを用意して、それらの点を通りそうなグニャグニ

          tanuki

          カーネル法の概要をゆるふわに掴む(1/2)

          tanuki