python学習note #1

pythonで遊ぶためにちょっとした勉強noteです。本当にただの自己満足noteとなっております。アヤメの品種分類のテストコードを切り崩していきます。

アヤメの品種csvデータ

タイトル未設定

本文

from sklearn import svm, metrics
import random, re #あやめのCSVデータを読み込む 
csv = []
with open('iris.csv.webarchive', 'r', encoding='utf-8') as fp:
   #一行ずつ読む 
   for line in fp:
       line = line.strip()
       cols = line.split(',')
       
       fn = lambda n : float(n) if re.match(r'^[0-9\.]+$', n) else n
       cols = list(map(fn, cols))
       csv.append(cols) #先頭のヘッダー行を削除 
del csv[0] #データをシャッフル 
random.shuffle(csv) #学習用とテスト用に分割する 
total_len = len(csv)
train_len = int(total_len * 2 / 3)
train_data = []
train_label = []
test_data = []
test_label = []
for i in range(total_len):
   data = csv[i][0:4]
   label = csv[i][4]
   if i < train_len:
       train_data.append(data)
       train_label.append(label)
   else:
       test_data.append(data)
       test_label.append(label) #データを学習し 、予測する
clf = svm.SVC()
clf.fit(train_data, train_label)
pre = clf.predict(test_data) #正答率を求める 
ac_score = metrics.accuracy_score(test_label, pre)
print("正答率=", ac_score)

というかそもそもpythonをそんなにやってないので、結構基本から崩していきます。（for文も危ういのでその辺もご了承ください）

機械学習のライブラリ（scikit-learn）を使います。

機械学習のライブラリ！scikit-learnとは【初心者向け】現役エンジニアが解説機械学習のライブラリ！scikit-learnとは【初心者向け】現役エンジニアが解説 | TechAcademyマガジン

from sklearn import svm, metrics

from OO import OOは
from モジュール import オブジェクトの形で

モジュールの特定のオブジェクトだけをインポートすることができる。（便利）

Python, importの使い方（from, as, PEP8の推奨スタイル, 注意点など） | note.nkmk.me

import random, re

この辺は randomとreをimportしているみたい

random...ランダムモジュール
re...正規表現モジュール

re --- 正規表現操作

reはよくある、扱い易くデータを正規化するモジュールってことかな

csv = []

空のリストを作っている、pythonは複数のデータを管理するデータ型があって

リスト...要素に順序あり、変更可能
タプル...要素に順序なし、変更不可能
辞書...ハッシュ表みたいな感じ
集合...順序がなく、インデックスによる要素指定ができない

［Python入門］リストの基本

with open('iris.csv', 'r', encoding='utf-8') as fp:

ここでなぜかバグり

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd1 in position 8: invalid continuation byte

エラーしました。
参照したcsvファイルが悪いみたいで、大人しくcsvデータに.webarchive拡張子をつけたら解決しました。↓解決方法

with open('iris.csv.webarchive', 'r', encoding='utf-8') as fp:

参考サイト（テラテイルはやっぱり便利）↓

UnicodeDecodeError｜teratail

with構文はファイル読み込みを簡単にする構文で、普通は

ファイルのオープン→ファイルの読み込み→ファイルのクローズを上のように簡単に書き表せるようになる

【Python入門】with構文を使ってファイルを簡単に扱おう【Python入門】with構文を使ってファイルを簡単に扱おう | 侍エンジニア塾ブログ（Samurai Blog） - プログラミング入門者向けサイト

open関数は　open('読み込むファイル名', 'モード設定')のように設定できる

Pythonでファイルの読み込み方法をマスター｜open関数Pythonでファイルの読み込み方法をマスター｜open関数 | 侍エンジニア塾ブログ（Samurai Blog） - プログラミング入門者向けサイト

for文でファイルを読み込んでいく

for line in fp:
       line = line.strip()
       cols = line.split(',')
       fn = lambda n : float(n) if re.match(r'^[0-9\.]+$', n) else n
       cols = list(map(fn, cols))
       csv.append(cols)

for文もjavaとかなり違くて驚くが基本は
for 　変数　in 　繰り返したいデータ群　の流れで記述し実行できる

残りはファイルを読み取り、扱いやすいように文字列データを数値データに変更して一覧にまとめていく作業

.strip()...文字、空白の消去

【Python入門】stripメソッドで文字を削除しよう【Python入門】stripメソッドで文字を削除しよう | 侍エンジニア塾ブログ（Samurai Blog） - プログラミング入門者向けサイト

.split()...文字列の分割ができる

【Python入門】split関数で文字列の分割の仕方 - Qiita

.append()...リストの中に要素を追加する

Pythonでリスト（配列）に要素を追加するappend, extend, insert | note.nkmk.me

 #先頭のヘッダー行を削除 
del csv[0]

 #データをシャッフル 
random.shuffle(csv)

randomオブジェクトを使う。結構いろんなランダムを作ることができるみたい

Pythonでランダムな小数・整数を生成するrandom, randrange, randintなど | note.nkmk.me

total_len = len(csv)
train_len = int(total_len * 2 / 3)
train_data = []
train_label = []
test_data = []
test_label = []
for i in range(total_len):
   data = csv[i][0:4]
   label = csv[i][4]
   if i < train_len:
       train_data.append(data)
       train_label.append(label)
   else:
       test_data.append(data)
       test_label.append(label)

データを分割して学習用とテスト用に分ける作業↑

データを学習、予測

clf = svm.SVC()
clf.fit(train_data, train_label)
pre = clf.predict(test_data)

識別器の学習のテンプレ
pre〜の部分はテストデータの推定をしてる部分（生徒が答えを書いてる状態）

scikit-learnでsvm 基本的な使い方 - 備忘録とか日常とか

正答率を求める

ac_score = metrics.accuracy_score(test_label, pre)
print("正答率=", ac_score)

metrics.accuracy_scoreは要は生徒が書いた答案と回答を見比べてどれくらいの正答率かどうかを調べる関数

sklearn.metrics.accuracy_score — scikit-learn 0.22.2 documentation

調べてみると混同行列で返してデータ解析するものとかもあるようだ

scikit-learnでsvm 基本的な使い方 - 備忘録とか日常とか

scikit-learn でクラス分類結果を評価する

結果

正答率= 0.96

高い確率で品種分析が成功しているようだ（）