LINEとDeepLの翻訳比較〜LINEのカメラで写真内の文字認識しテキスト抽出する方法〜
LINEアプリで写真をし、画像内の文字認識をしてテキストが抽出・翻訳可能です。精度も良く、テキストをコピペ可能で、ブログや共有がしやすいので便利です。
また、「外国語抽出」と「翻訳」まで可能です。LINE翻訳の精度とDeepLでの翻訳精度の比較も後半で実施していますので参照ください。
LINE画像の文字抽出を応用すると、
・「英語」の教科書を写真撮影で画像化
・画像から「文字の英語」を抽出
・英語を日本語へ変換
と、教科書や文章を読む手間がとても省けると思います。英日だけでなく、日英も可能ですので、教科書だけでなくメニューの翻訳、レシートテキスト化、説明書のクラウド保存などなど、応用範囲は広いと思います。
LINEアプリで写真の画像から文字抽出の手順
身の回りのテキストを抽出してみましょう。今回テストに採用されたのはこちらの商品の説明書。
革製品を磨く時に便利なレザーワックス。レザーはメンテナンス必須なので、「革の達人」を使ってレザーを磨いています。これで磨くと黒光りしますw
LINEのカメラで画像撮影（保有画像でも可能）
↑文字認識をします。
以下実行結果です。
取扱い説明書：革の達人。この度は「革の達人」をお買い上げ戴きありがとうございます。ご使用前に必ずこの説明書をお読みください。革製のコート・ジャケット・ジャンバー・ハンドバッグ・ブーツ・靴・旅行カバン・ソファ・車のシート・スポーツ用品・合成皮革・ビニール製品・金属製品・木製家具等幅広い用途に使用できます。革本来の染色を引き出すため、黒・茶・赤などの色目は関係ありません。使用方法。初めて革の達人をご使用になる場合は必ず目立たない所に少量塗って、1日置いて確かめてからご使用ください。革の表面に食器洗い用の柔らかいスボンジや、乾いた柔らかい布などで軽く塗るだけですばやく浸透し、革を柔軟にするだけでなく、縫い目の保護:撥水・艷出し、またはクリーナーとして幅広くご利用頂けます。週間から10日に一回程度お手入れしてください。(以下略)
改行こそしましたが、９９％以上の精度が出ています。コレは凄い。
カメラロールに保存していた手持ちの画像でテストしてみましょう。オリラジあっちゃんが開発したカードゲームの説明画像です。
ラブレターというカードゲームが元になっています。
文字抽出結果がこちら↓
boku-boardgame.net：XENO カード効果【潜伏・転生】場に出すことができず、10英雄 捨てさせられたら脱落する。 皇帝以外に脱落させられた時に転生札で復活する。【公開処刑】 指名した相手に山札から9皇帝 1枚引かせて手札を2枚とも公開させる。そしてどちらか1枚を指定し捨てさせる。【交換】 指名した相手の手札と自分の持っている手札を交換する。
8 精霊【選択】 次の手番で山札から1枚引くか7 賢者 わりに3枚引き、 そのうち1枚を選ぶことができる。 残り2枚は山札へ戻す。【対決】指名した相手と手札を見せ合い6 貴族 数字の小さい方が脱落する。【疫病】 指名した相手に山札から1枚引5 死神 かせる。 2枚になった相手の手札を非公開にしたまま、 1枚を指定して捨てる。【守護】 次の自分の手番まで自分への効果を無効にする。4乙女3 占師 【透視】 指名した相手の手札を見る。2兵士【捜査】指名した相手の手札を言い当てると相手は脱落する。【革命】1枚目の捨て札は何の効果も発1 少年 動しないが、 場に2枚目が出た時には皇帝と同じ効果「公開処刑」 が発動する。英雄・皇帝は1枚、 その他は2枚
こちらは画像自体の、改行具合が中途半端で、CSS崩れのような形になってしまいました。画像内の文字が整列して文章になっている文字認識が効果が高いことがわかりました。
LINEアプリで写真の画像から文字抽出：英語抽出と翻訳
英語の認識をして、翻訳の精度はどうでしょう。以下検証です。
上記の画像を文字認識します。結果こちら↓
Oripple.com
ripple Insights
Payments Should Be Easier, Today, we can instantly send a photo, message or video to billions of people and businesses around the world from a phone, laptop-even through Alexa. Yet, simple and fast payments are still not possible. In this always-on world, where everyone carries a computer in their pocket, why is it easier to send a picture of a 5 dollar bill than it is to actually send 5 dollars? Unlike email and SMS, where there
is a single network for the entire world, the payments infrastructure
consists of hundreds of isolated networks that don't speak to each
other. Imagine how limited SMS would be if messages couldn't be
sent between the different mobile providers. We would all send a lot
fewer text messaaes and be less
英語抽出もパーフェクトですね。（トップのロゴ表示が文字になっていることを除く）
さて、この英語表記を日本語訳しましょう。
20:54 Oripple.com リップル·インサイト 支払いも簡単になるはず 今日我々は電話やラップトップから世界中の何十億もの人々や企業へ写真、メッセージ、ビデオを瞬時に送ることができます - Alexa経由でも。 しかし、簡単で迅速な支払いはまだできない。 誰もがコンピューターをポケットに入れて持ち歩いているこの常時接続の世界では、なぜ5ドル札の写真が実際に5ドル札を送るよりも簡単なのだろうか。 EメールやSMSとは違い、世界全体に一つのネットワークが存在し、決済インフラは互いに通信しない何百もの孤立したネットワークで構成されている。 異なるモバイルプロバイダ間でメッセージを送信できなかった場合、SMSがどれだけ制限されるかを想像してみてください。 私たちは皆、送信するテキストメッセージの数がかなり減り、より少なくなるだろう。（LINE 文字抽出後の比較）
翻訳精度もかなり良いですね。念のため翻訳ツールで著名なDeepLと比較しましょう
リップルインサイト。今日、私たちは写真やメッセージ、ビデオを携帯電話やラップトップから世界中の何十億人もの人々や企業に瞬時に送信することができます-アレクサを介しても。しかし、簡単で迅速な支払いはまだ不可能です。誰もがコンピュータを持ち歩いているこの常時接続の世界では
5ドル札の写真を送る方が簡単なのはなぜでしょうか？
実際に5ドルを送ることですか？メールやSMSとは違っては全世界の単一ネットワークであり、決済インフラであるは、互いに話をしない何百もの孤立したネットワークで構成されています。他にもあります。もしメッセージが
異なる携帯電話事業者間で送信された 私たちは皆、たくさんの
より少ないテキストメールとより少ない(DeepL)
DeepLと比較するのは酷でしたね、LINEの日本語訳はわからなくはないが、綺麗な日本語ではないことが、DeepLとの比較でよくわかりました。
あくまでOCR機能として利用するのが良いということがわかりました。
まとめ
LINEの文字認識の精度が高く驚きです。サーバーに画像を送信して、返ってくる速度も高く、外国語抽出、翻訳も可能でした。今回は英語を日本語にしましたが、日本語を英語にすることも可能です。
一方で、翻訳精度はまだコレからの部分もあり、OCRとして文字抽出をするのが良いでしょう。
このようなテキストハックをすると、記事作成や、メール、スラック投稿などがかなり楽になるので、生産性向上ツールとして把握しておくと良いと思います。
マイクでの音声認識と併用すると生産性が爆増すると思います。
マイクとGoogleクロムで音声入力をマスターするのがオススメです↓
読了有難うございます！もし良ければTwitterをフォローいただけたら嬉しいです！https://twitter.com/hirocy_vision