15年前の機械学習

学生(修士)の時は機械学習の研究をしていました。もう15年ほど前になります。研究室では最先端の研究をしていたわけではなかったので、なんとも言えないところですが、当時のことを思い出しながら、当時の機械学習がどんな感じだったか書いていこうと思います。

当時はまだディープラーニングがなく、3層のニューラルネットが使われていたと思いますが、どちらかというとブースティングやSVMが良く使われていました。自分自身はカーネル法を使った非線形の多変量解析の研究をしていましたが、研究室でもニューラルネットワークに関する研究は、後輩がブースティングの弱学習機にパーセプトロンを使っていたくらいの記憶しかありません。

計算環境も当時はMATLABで先生に教えてもらいながら自分でプログラムを書いていました。ブースティングも先生に教えてもらいながら、論文を参照しながら自分たちでプログラムを最初から最後まで書いた記憶があります。SVMはlightSVMが当時からあったので、それを使っていたと思います。

自分たちよりさらに前の先輩たちは、さらに自分たちでプログラムを書いていた、という話を聞きました。大学院の授業で決定木を使って学習する課題があったので、MATLABのライブラリを使って計算したレポートを出したら、何年か前にいた先輩は、木を描くところまで全部自分でプログラムを書いていたよという話を聞いて、そこまでは到底できないな(ライブラリもあるし)、と思った覚えがあります。