情報量についてです。情報量とは、ある事象が出現したときにどの程度の「意味」があるのか、を示します。確率変数をXとすると、事象xが出現した場合の情報量は、確率をP(X =x)として、I(x) = -log(P(X = x))として表現されます。また、とりうる事象の数をW(X)として、すべて同様に出現すると仮定すると、I(x) = logW(X)となります。ただし、ここでは底として2をとります。この場合の単位はbitになります。底の変換は値を定数倍することでなされるので、本質的に
行列とは、左からかけることで列ベクトルを別の列ベクトルに線型変換する機能があります。そのベクトルは、線型変換の結果、一般には方向の変化を受けることになります。ここで、行列Aに対して着目し、Ax = λx（λは任意の定数、xはゼロベクトル以外の任意のベクトル）となるようなベクトルxと定数λが存在した場合、行列Aに対してλとxは特別な意味が発生します。つまり、行列Aによって線形変換を受けた場合においてもそのベクトルxは、ノルムこそ変われどその方向を変えるものではありません。このよ
さて、データ観測の際に、いくつかの理由でデータの全容を観測できないケースは結構あります。例えば、製造物の検査で破壊的な操作が必要な場合、全数検査をしてしまうと出荷が出来なくなります。ターゲットが全国民になった場合には、全数調査をするには非常に高いコストがかかってしまいます。また、繰り返し実験の場合、理論的には試行は無限回可能になるため、母集団の要素数が無限個になります。このようなケースでは、母集団から一部データをランダムに抽出し限定的なサンプルの解析から母集団の性質を推測する
前回の記事では、確率をいくつかの立場から整理して統計学における展望を述べました。ここでは、観測データや確率分布に対して重要な統計量をいくつか記述します。 統計学で扱うデータは、数が多く、すべてのデータを把握することが難しい、あるいは意味が無いケースが多くあります。このようなケースでは分布の特徴を示すようなパラメータを知ることが重要になります。 例えば、得られたデータの平均値を知ることは非常に重要です。おそらくデータを最も代表するような値になるからです。観測データの場合、頻
前回の記事では、統計学の立場と事象について述べたので、ここでは②確率に関することを記述します。まず、「統計学」という言葉が複数の立場を持つように、「確率」という言葉にも複数の立場があります。「頻度主義的確率」「主観主義的確率」などと呼ばれるそれで、同じ確率という言葉によって表現されるものですが指し示しているものが異なります。頻度主義的確率、主観主義的確率ともに共通するのは、ある事象が出現する確率という値は、全事象のうちに占める目的事象の割合と定義することですが、この割合を定義
統計学を学ぶにあたり、混乱ポイントは、①統計学の立場に関する概念整理、②確率に関する概念整理、③データ尺度に関する概念の整理 になるかと思います。今回は、①に関して記述します。 統計学の立場に関して、大きく３つの立場に分けるとわかりやすく整理することができます。すなわち、A：多量のデータを特徴的な量によってまとめて表現するための「記述統計」、B：ある仮説に基づき検討される確率分布モデルと実際のデータを統計量によって比較し、その仮説の棄却可能性を推定するための「推測統計」、そ
行列式detAは、n次の正方行列A = (aij | i,j = 1, 2, ...,n)において、以下のように定義されます。 detA = Σσ sgnσ * a1σ(1)a2σ(2)....anσ(n) ただし、σ（i)はiに対する置換を示し、sgnσは置換σの偶奇によって変わる符号、およびΣσは定義可能な全ての置換を動くことを示します。 2次元正方行列の場合は、A = ((a,c)T (b,d)T)とすると、detA = ad - bc、3次元正方行列はたすき掛け
n元連立一次方程式は、独立なn個の変数の線型結合によって構成される複数の方程式群です。中学の数学でも出てくるアレです。アレを抽象化して考えるヤツをやります。 連立一次方程式では、変数はたくさん出てきますが、各方程式は1次式、つまり線型結合で表現できるので、各方程式の左辺は、各変数xiを並べた列ベクトルxおよび対応する係数Ciを並べた行ベクトルajからなる内積aj*xという形で表現できます。行ベクトルを複数束にすることで係数からなる行列Aとして表現し、変数からなる列ベクトルx
対角行列、および単位行列については過去の記事で少し記載しました。特に、単位行列は非常に特殊な行列で、任意の行列ないしベクトルに対して、積が定義可能であれば、右からかけても左からかけてもどのような影響も残さないというものでした。さて、ある正方行列Aに固有の別の行列をかけたときに、演算結果が単位行列になるような行列が定義できるとき、その行列は行列Aの逆行列と呼ばれ、よくA^(-1)として記述されます。逆行列は、行列Aに対してただ一つ存在します。また、逆行列はもとの行列にたいして右
さて、前回記事でベクトルと行列がなぜ機械学習をはじめあらゆる分野における状態表現の中心になるのかを記述しました。ここで、状態間の操作や遷移を意味する正方行列について、操作するベクトル内のj番目の要素をそのままj番目の要素に重み付きで遷移させるような操作を考えます。写像側のベクトルのj番目の要素は、正方行列側のj番目の行ベクトルと操作するベクトルの内積になるわけですが、操作するベクトルのj番目以外の要素の影響を排除するわけなので、行ベクトル側のj番目要素以外の数は0になります。
さて、ちょっと前回記事からちょっと日が開いてしまいました。。。仕事で立場が変わり少しドタバタしていたことと、gaccoの統計学Ⅲの習得に追われていた。。。ということにしておきます。（満点、取れませんでした。。。悔しい。。。） さて、前回記事では、なぜ機械学習でベクトルの扱いが中心的な命題になるのか、について軽く触れました。今回は、なぜベクトル演算とセットで行列の扱いが出てくるのか、について。 最初に結論を一言でいうと、「行列がベクトルに対して唯一線型変換を与えるものになる
さて、さっそく機械学習とかのお勉強を始めるワケです。ここで、JDLAのE資格要件に関して、私なりの理解では2つの側面があって、1つは「背景理解に必要な理論を理解すること」、もう1つは「これをプログラムとして表現し実装していくこと」なのかな、と。そんで、今回は「背景理解に必要な理論を理解すること」をやってるわけです。んで、「背景理解に必要な理論」というのは、大きく分けると「線型代数学」「統計学」「情報理論」になってくるわけですな。今日は、これらのうち、線型代数学にまつわる話。
てなワケで、E資格おじさんとなるべく学習計画を立てねばならないワケです。というのもの、割と高い目標なので計画的にやらねば詰むワケで。 計画を立てるにあたり、昔の人は「敵を知り己を知れば百戦危うからず」という良いことを言っていたワケです。まずは、目標と自分の立ち位置を分析してみようと思います。まずは自分の立ち位置から。 以下、2021年1月時点での私の認識する私の評価です。世間一般のプロジェクトよろしく、ここが間違ってると結構ヤバいのですが、ザっと書き出してみます。 プロ
というわけで、おじさん、某協会のE資格取得に向けて勉強をすることにしました。直接的なきっかけは、以下のサイトを見たこと、です。E資格てなんやねんて方は、ぐぐって調べるよろし。 https://ai999.careers/rabbit/ さて、私が界隈で「これ、資格ビジネスなんでねーの？」と陰口の絶えない某協会の某ラーニングの発行するE資格取得に踏み出した理由はなんなのか？結論から言うと、「これまでより格安で、ある程度体系だった知識を習得するためのカリキュラムと、目標と締め
某グループにてつい宣言してしまったので、数秘術に基づくヤベェ証明をここに記述することにする。私を含む全国の工藤さん（久藤さんも可）、あなたが神であることは証明されてしまいました。ご愁傷様。 以下、証明。 数秘術の世界では、８は神を表す数字であり、これが3つ連なった「８８８」は、まさしく神そのものを表現する数字である（ちなみに、ヨハネの黙示録で「６６６」が獣を指し示す数字であるという記述があるなど、古来から数字そのものが意味を持つことは知られていることからも、この主張は疑い
世の中にまかり通るこういった類の指摘について思うところがあったので。 最初に私の意見ですが、「この手の指摘をしてくる人は、きっと何事も為した事が無いし、この先何も為すことなく死んでいくんだろうな」と考えています。なぜか。 多くのシーンにおいて何かを為すにあたりこの手の主張は意味を為さない、それどころか組織やコミュニティの中に不要な不平と不満を撒き散らし全体の生産性と創造性を著しく低下させる結果になるからです。以下、そう考える根拠。 ①「論理的」という、一見非常に合理的で
