PythonとMATLABによる自然言語処理の極々簡単な比較

結局フリーでできんもんかとどうしても考えてしまう。

そこでまずはPythonで日本語文章をtoken化中途半端は良くないと知りつつもいろいろ調べてtokenizedできるまでなったので参考コードを記載する。

まず、pythonではライブラリインポートが必要なのでそこは以下のサイトを参考にした。あと実行環境はcolaboratry

そんで実際に上記から引用したcode

# Install;