![見出し画像](https://assets.st-note.com/production/uploads/images/49528559/rectangle_large_type_2_5cbee7539ac6179993ca62875209b412.jpeg?width=800)
Photo by
photochemie
python janome 0.4系からstreamモードがデフォルト 解決策メモ
janomeのバージョンを上げると、分かち書きの出力をgeneratorで返すようになった。
generatorはメモリ効率が良いというメリットがある一方でリストでデータを保持したいという気持ちがある。
対処としてリストに出力するステップを加える。
対処方
token_generator = t.tokenize(text,wakati=true)
token_list=[token for token in token_generator]
参考リンク
私にカフェオレを飲ませるためにサポートしてみませんか?