ローソク足データのノイズ除去。データを整える。「Python / CSV」


FXDDからダウンロードしたデータ(ローソク足)に以下のような部分が混じっている事があります。

[Open 同値 / High 同値 / Low 同値 / Close 同値 ]

始値・高値・安値・終値が全く同じ価格のデータです。ローソク足で表すと「 - 」という表記になります。実体もヒゲもない状態です。

これをそのまま含めて検証しても、特に問題ない手法もありますが、検証結果が変わってしまうものもあります。

以下は、これを取り除くソースコードです。


import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import csv
# csv読み込み #時刻 ,始値,高値,安値,終値,取引高
#...
csv_file = open("/Users/user/Documents/検証用ローソク足データ/USDJPY_DAY.csv", "r", encoding="ms932", errors="", newline="" )
reader = csv.reader(csv_file, delimiter=",", doublequote=True, lineterminator="\r\n", quotechar='"', skipinitialspace=True)

# listに変換
data = [ e for e in reader ]
#print(data)

#文字列を数値に変換 
for row in data:
   if row[1]==row[2]==row[3]==row[4]:
   	print(row)
   else:
   	with open('/Users/user/Documents/検証用ローソク足データ/USDJPY_DAY_syusei.csv', 'a') as f:
   		f.write(row[0]+',')
   		f.write(row[1]+',')
   		f.write(row[2]+',')
   		f.write(row[3]+',')
   		f.write(row[4]+',')
   		f.write(row[5]+'\n')
   	
print("作業が完了しました。")



この記事が気に入ったらサポートをしてみませんか?