きっぷの文字認識結果をマッピングする

前回の続き。名鉄ミューチケットの色を落とすことによって、Googleドキュメントでいい感じに認識ができました。

では、Google Vision APIで位置情報と合わせて取ってみましょう。
使う画像は境界値(R,G,B)=(120,120,120)で色を落とした画像です。

で、検出した位置情報を四角で囲う。
検出も大きい単位からblock単位、paragraph単位、word単位があるので、
それぞれやってみる。
paragraph単位のみ認識結果をつけました。
座標と検出文字、信頼度を貼っています。

block単位

paragraph単位

x,y,width,height,text,confidence
1124.463,8,1,青,0.18
1124.476,8,1,-,0.1
1123.517,8,14,---,0.64
252.402,3314,508,(名古屋鉄道)の特別車両券(Cユーチケット)01533-C5DEP.,0.75
1012.606,2501,543,FIRSTCLASSCARTICKET360.国府,0.98
2775.949,694,262,14:23凳,0.77
928.1242,2674,589,名鉄岐阜ゆき名鉄金山,0.98
2947.1531,508,197,15:03着,0.91
1381.1124,4,11,于,0.22
469.1429,243,96,ARR,,0.87
838.1154,1813,1304,名鼓山-5月29日29,0.49
1162.1775,483,77,KANAYAMA,0.98
3130.1671,442,219,15g,0.51
3132.1861,783,597,30|,0.42
2842.2223,8,9,人。,0.12
1124.2302,308,144,MONTH,0.99
2499.2365,9,3,.,0.79
1680.2297,182,143,DAY,0.99
2216.2289,384,145,CARNO.,0.95
2907.2282,412,145,SEATNO.,0.92
158.2579,1419,194,2016.-5.29,0.96
2529.2540,843,197,国府01001,0.91
2494.2888,3,9,。,0.1
2407.2901,3,9,后,0.18
2410.2895,68,21,vit,0.22
2430.2893,33,14,””,0.52
3020.2943,6,17,;,0.32
2916.2960,6,17,表,0.08
3189.2979,14,14,:::,0.75
3208.2986,26,18,“..,0.19
2347.3015,2,10,1,0.25
2413.3012,11,10,::,0.21
3243.3013,3,11,-,0.25

word単位

block単位だと広すぎる。
paragraph単位の認識結果を使うのがよさそう。
でも、文字が拾いきれてないからword単位の結果も使いつつ。

そもそも、文字を拾ったのはいいけれど、最終目的は列車名・号車・座席に、発駅・発車時刻・着駅・到着時刻を拾うこと。

きっぷには「これが列車名ですよ」という見出しが書かれているわけでもない。でも、人間はこのきっぷだと151号が列車名と推測できてる。

次は欲しい情報と、検出結果の紐づけです。