画面翻訳をつかう

このnoteは、ゆかりねっとコネクターの画面翻訳機能をどのようにつかうか、解説したものです。

１．画面翻訳機能とは

画面の上にある他国語を翻訳するための機能です。ゲームなどで使えると思いますが、うまく画面スキャンが行えない場合には使えないかもしれません。

２．事前準備

まずは、ゆかりねっとコネクターをいれてください。
そうすると、このような画面がでます。

現時点での仕様では、このような手順で使用できる様になっています。

①読み取る場所をきめて、設定しておく。
②読み取ってほしいときに、開始指示をする。
③結果が表示される。

※多分、場所をきめるより、読み取りたいときに場所を指定する方が都合がいいという雰囲気も感じ取ってるので、そのうち実装してみたいなぁ、とおもってます。なぜ今実装してないか？というと、この機能自体、強いニーズがあって作りはじめた訳じゃなかったからです。それだけ使われてきたら、もっと作りこんでいきます。

３．設定をする

認識モードは、オフラインベースのTesseractと、オンラインベースのGoogle  Vision がつかえます。API利用にお金がかかるので、オンラインベースのものは支援してくださった方に提供しています。

翻訳ですが、読み取ったものをどの言語に翻訳するかを指定してください。なお、オフラインの場合は読み取れる言語が辞書に依存する形になりますが、オンラインの場合はGoogle Vision が言語を自動認識します。

スキャン位置は、画面位置のどこを読み取るかを指定します。全画面を読み取るなら、「画面サイズを取得し設定」でよいですが、そんな使い方はあまりしないでしょうから、その場合は位置を指定することになります。

位置の指定は、数字で打ち込む方法でもいいですが、画面翻訳ウィンドウ位置を重ねてもらって、「翻訳ウィンドウから位置取得」が一番かんたんです。

オフラインの場合は、辞書をいれます。ダウンロードサイトからご希望の言語の機械学習データを手に入れて、辞書フォルダにいれてください。

辞書はいくつかのバージョンがありますが、 v3.02 のものをいれます。
※ニーズが増えたら、 v4.0対応を検討します。

なお、基本設定は「対訳を表として表示」になってますが、オンライン版は検出した位置に文字をかくモードがつかえます。（そうすると、画面に重ねればその位置に文字がでますが・・・実用的かどうかは・・・。）

４．翻訳をかける

翻訳は、キーをつかうか、ボタンをつかうかで指示をします。

翻訳ボタンをおすと出てくる、このボタンで指示ができます。
ボタンを使いたくないときはキーをつかいます。

キーは、グローバルフックが有効な時にしかつかえません。ちょっと実装がよくなくて、これを有効にするとマインクラフトのキー割り当てに影響がでるっていうレポートをもらっていますので、そのうち自由なキーに割り当てられるようにしたいと思っています。

これが有効な時は、F7とF8に割り当てられます。

読み込まれれば、こんな画面のなかに原文と翻訳がでるようになります。

５．おわりに

英語のゲームの文章を翻訳出来たらなぁ…から始めたこの機能ですが、まだまだ道半ばの部分もあります。もうちょっと作りこみたいなぁとおもっているので、使った感想とか、要望をツイッターに挙げてもらえたら嬉しいです。(#ゆかりねっとコネクター　あたりを付けてもらえると拾いやすいです）