- 運営しているクリエイター
2019年7月の記事一覧
pandasの小技(1)
実際問題のデータはいらない項目がたくさん入っていることがほとんどだ.これをそのままpandasで読み込んで,itertuplesなどで処理をすると,とても遅い.時には,大量のメモリをくって止まってしまうこともある.以下のようなテクニックでこれを避けることができる.
まずは,普通に企業からいただいたデータ(需要データ)を読み込んでみる.
import pandas as pddf = pd.re
実際問題のデータはいらない項目がたくさん入っていることがほとんどだ.これをそのままpandasで読み込んで,itertuplesなどで処理をすると,とても遅い.時には,大量のメモリをくって止まってしまうこともある.以下のようなテクニックでこれを避けることができる.
まずは,普通に企業からいただいたデータ(需要データ)を読み込んでみる.
import pandas as pddf = pd.re