FAXの注文書を読み取るOCRを作ってみた〜その２

「Faxの文字をOCRで取り出す仕組みを作ってみました」の2つ目です。OCRで文字認識までやってくれる複合機がない場合に、Faxの画像からOCRで文字認識を行います。OCRに文字認識をさせることで、Faxを見ながらキーボードで打ち直す作業が軽減されます。

今回はOCRソフトを別のものに変えました。このOCRも文字認識の精度はそれほど高くないので、Fax画像を目視してコピペした文字を修正する作業が必要となります。そのため、仕様は前回と同じです。

Faxの画像をアップロードして、文字認識したテキストをコピペできるように画像の上に重ねて表示する

プログラムを動かします。OCRを変更した以外は同じとなるように作ってあります。起動すると下のようなタイトルとファイルアップロードのボタンが出て来ます。Faxの画像ファイルをドラッグ・アンド・ドロップするか、ファイルを選択してFax画像をアップロードします。

図１．起動後の画面表示

画像がアップロードされたら、そこから先は一気にFaxの文字認識と画像表示、文字の重ね表示まで一気に行います。Faxは背景色が白で文字が黒です。認識された文字と判別がしやすいように文字色は赤色です。

図２．画像に文字を重ねて表示

画像の文字をコピペすることはできませんが、文字認識した赤い文字をマウスで選択・コピーしてExcelなどに貼り付けができます。

技術情報
プログラム言語：python
OCRエンジン：EasyOCR

課題
きれいな画像ファイルを使ってOCRしていますが、このOCRも課題はあります。

1. このOCRでは特に表の中の数字の文字認識精度が良くない。注文書の個数・単価・価格の数字を誤認識してしまうのが大きな問題。

2. 郵便記号（〒）や円マーク（￥）の特殊記号を誤認識している。

今回のようにOCRソフトを変えても誤認識は起きてしまいます。漢字かな交じりで更に英数文字が使われるような日本語では単にOCRソフトを変えるだけで認識精度を劇的に上げることは期待できないかもしれません。文字認識精度を上げる工夫をひとつひとつ積み重ねていく必要がありそうだと感じています。