見出し画像

Yahoo! JAPAN Hack Day 2021 OnlineでのOCRアイデアまとめ

aki

都内テックカンパニーで働くakiです。
先月、Yahoo! JAPAN Hack Day 2021 Onlineと言うオンラインでのハッカソンイベントが開催されていました。

いくつかのテックカンパニーから最先端のテクノロジーも技術提供されていたのですが、その中でLINEのOCR技術の活用アイデアがとてもおもしろかったのでまとめてみました。
ぜひYouTubeとあわせて見てみてください！

（HackID. 6）ポピポポピピプピリロピロリププププピーポの「ネオネンガ」

写真、手書きメッセージ、お年玉から作成する年賀状を圧縮・暗号化・エンコードして、QRコードとして葉書きに印字して投函、1月1日に受け取った年賀状を今度はデコード・トークンをOCRで検出＆圧縮した画像を超解像で元のサイズまで戻す・手書きメッセージも今書きこまれているかのように表示すると言う次世代すぎる年賀状。
さらに年賀状を送りたい場合は次に送る相手も提案してくれるそうです。
今回技術提供されているテクノロジー全部載せと言うなか、なんとOCRは年賀状を暗号化してしまった中でどうしても平文で載せなければならない情報があり、終了1時間半前に組み込んだとのこと。

（HackID. 10）hanateの「Character」

画像からOCRで文字を抽出し、その文字をNLUで解析。抽出された単語に応じてステータスを決定し、画像のRGB値で属性も付与してキャラクターを生成。キャラクターでバトルをすると言うキャラクター生成バトルゲーム。
めずらしい単語や難しい漢字の単語でどんなキャラクターが生成されるのか、ついつい試してみたくなりますね。

（HackID. 14）ああああの「XrossWorld」

画像からOCRで文字を抽出し、その文字からクロスワードパズルを生成するパズルゲーム。クロスワードパズルを生成する際に遺伝的アルゴリズムを使用し、より良いクロスワードパズルを生成しているそうです。
XrossWorldで世界をクロスワードに！
このアプリを使うと飲食店のメニューなんかからもクロスワードパズルが作成出来そうなので、お料理が運ばれてくるまでに待ち時間を楽しく過ごせそうですね。

（HackID. 15）すずくまの「全自動穴埋め問題作成機」

教科書を撮影した画像からOCRが文字を認識し、Janomeが抽出した固有名詞をマスク処理する単語帳生成アプリ。単語リストは編集や追加も可能。
教科書をそのまま単語帳にしたいが、教科書は汚したくないと言う全受験生が抱える課題を解決したアプリ。
確かに私も学生時代に単語帳ノートを買って、手書きで作成した思い出があります。これは学生時代にぜひ出会いたかった...！！！

（HackID. 20）UUUOBの「TeWrite」

雑な手書き文字はOCRでは認識が難しいと言う性質を逆手にとった採点アプリ。
LINE botが出すお題の回答を手書き・撮影し、botへ送信することで、botが採点してくれます。
今後、間違っている箇所を指摘してくれる機能や複数人での早書き対決機能の実装も考えているそう。
早描き対決機能おもしろいですね。年始の書き初めでぜひ対決してみたい。

（HackID. 25）IQLABの「insyutagram」

酒好きの酒好きによる酒好きのためのアプリ。
お酒のラベルを撮影し、OCRで文字を認識し、お酒の基本情報データを記録。記録されたデータはお気に入り度やメモも登録出来るそう。
文字入力要らずでわずか2タップで記録完了と言う、完成度の高いアプリでした。
美味しいお酒はまた飲みたい！！！でもお酒飲んでたら覚えられない！！！そんな大人のための大人のInstagramですね。

（HackID. 29）木木林の「個人情報まもるくん」

Twitterにアップロードした画像の個人情報をマスク処理してくれるアプリ。
画像付きでツイートする際、Twitterにアップロードした画像をツイート前にまもるくんに送信。まもるくんがOCRで文字を抽出し、NLUにより抽出した文字列の意味を理解。その後まもるくんは画像内の個人情報を黒く塗りつぶした画像を返却してくれます。
これ、めちゃくちゃ便利じゃないですか...！？今すぐにでもサービス化出来そうですよね。素晴らしい。

（HackID. 35）1D3Bの「だれため日記」

だれかのための日記、略して「だれため日記」。みらいの自分や子供、友だち、好きな人、家族のためにつける日記アプリ。

あらかじめプリセットで用意された単語を繋ぎあわせるだけで日記をつける単語おき機能、画像からOCRで文字を認識して日記をつける写真おき機能、喋りかけた音声から日記をつける音声おき機能、そしてフリーハンドで描いた絵から日記をつけるお絵かき機能と4つの機能から日記をつけることが出来ます。
本来は自分のためにつける日記。それをLINEを使うことによってコミュニケーションのひとつへ変えると言う、とても優しいアイデアですね。

（HackID. 38）SRIの「竹取物語完全に"理解しけり"」

古文をスマートフォンで撮影した画像を「竹取物語完全に"理解しけり"」へ送信。アプリ内でOCRで文字認識し、その後古文翻訳装置にて現代語へ翻訳、翻訳された結果をスマートフォンへ返却してくれます。
古文はその文章が理解できずについつい取っ付きにくいイメージを持ってしまいますが、漫画版になったものは人気だったり、意味さえわかれば楽しく取り組めそうですよね。古文が大の苦手で学生時代はついつい居眠りしがちだった私ですが、このサービスを利用したらもっと真面目に勉強出来たんだろうなぁ...！

（HackID. 44）丑之日プロジェクトの「矢文ちゃん」

矢文（やぶみ）とは、手紙を弓矢を用いて遠くから放ち、文書を送る手段のひとつで、手紙を矢柄（やがら）に結びつけ、射て飛ばす方法だそうです。
今回はハンガーを改良して弓矢とし、Raspberry Piを装着、先端にカメラも装着すると言う新時代の矢文アイデア。
紙に送りたいメッセージを書き、矢文に装着したカメラからOCRで文字認識、文字認識が完了した紙を矢文にくくりつけ、送りたい相手に向かって発射することで、相手の携帯電話に先程書いたメッセージを送信出来ます。
ハンガーを弓矢にするアイデアが斬新過ぎましたw

（HackID. 64）ごた煮の「Vibes」

オンライン授業やリモート勤務などの一人だけでパソコンに向かう日々を視覚と聴覚から盛り上げてくれるアプリ。
キー入力に比例してBPMを上昇したり下降したりすることによって作業のテンポに合わせた音楽をかけ、より効果的な作業を可能に。キー入力により花火などのエフェクトも発生させることでモチベーションを上げ、書いているコードに応じて、褒めてくれる機能も。
作業を中断してTwitterを見ようとすると、おじさんが止めてくれる機能もあるそう。
考えている時は自動的に落ち着いたBGMに切り替わったり、便利ですね。一度使ってみたい。

（HackID. 72）kbの「早起きは３MONのToken」

早起きは三文の得を実感するための目覚ましアプリ。
LINEで友だち登録を行い、メニューのおやすみをタップするだけ。目覚ましをセットすると、アラームのメッセージが届きます。
LINEに決められた文字を手書き入力し、OCRが文字認識することでアラームを解除、正しく入力して起きれた場合は時刻に応じて最大3Monのモントークンがもらえます。
起きた時間はグラフで確認が出来、起床時刻や就寝時刻は健康スコアとして管理することも出来るそう。
二度寝防止に最適ですね。

（HackID. 74）パスカルダビンチの「Support Board Writing Machine」

板書からノート作成を行うアプリ。板書の写真を撮るか、もしくは既存の画像を読み込むだけでアプリが色ごとに文章や単語を認識し、ノートを作成してくれます。
OCRで文字認識する直前にOpenCVで二値化も行っているそう。
ノート作成面倒ですよね。こちらも学生時代に出会いたかった...！！！

（HackID. 79）まりにゃん今度は参加しようなの「テキストモンスター」

文章からモンスターを召喚して、バトルして遊べるアプリ。お子さんが楽しく文章にふれる機会を増やすために考案されたそうです。
アプリを立ち上げ、OCRで文章を読み上げると、AR空間に文章と親和性の高いモンスターが表示。このモンスターには攻撃力があり、より攻撃力の高いモンスターの勝利となります。
モンスターはバトルが終わるとずかんに登録され、後から振り返ることも出来るそう。
キャラクターやデザインもとても可愛い！！どんなモンスターが召喚されるのか気になって、めずらしい単語や文章を見つけると片っ端から写真をとって試してみたくなりますね。

（HackID. 80）YKの「re:seeipt」

購入したものからレシピをおすすめしてくれるアプリ。
食材を購入した際のレシートをOCRで認識、形態素分析で食品を分析、結果をYouTubeで検索して、おすすめのレシピを紹介してくれます。
ついつい同じレシピを作ってしまいがちなので、すでに購入しているものから新しいレシピを提案してくれるのは嬉しいアイデアですね。
レシピサイトではなく、動画サイトに誘導してくれるのも新しい。

今回なんと15作品！！！たくさんのチームの方がOCRを活用したアイデアを次々に生み出してくださっていました。

OCRってどうしてもバックオフィス業務の効率化に活用されているイメージが強かったのですが、アイデア次第でゲームに単語帳に日記に翻訳に目覚ましにレシピに...と、日々の生活を便利に楽しく快適に変える技術にもなり得るんですね。

今回はオンライン開催と言う例年にはない開催スタイルだったのですが、プレゼンからもそのアイデアひとつひとつの課題設定や作品自体のクオリティーの高さ、そして何より楽しくハッカソンを盛り上げようと言う意気込みがとても伝わってきました。

日常の業務から少し離れ、仲間とアイデアを出し合って、作りたいものを作ってみる、トライしてみる、ハッカソンって素敵ですね。

そして参加したみなさんは24時間本当におつかれさまでした！！！
来年はどのようなスタイルで開催されるかわかりませんが、来年のハッカソンも楽しみです。

この記事が気に入ったらサポートをしてみませんか？