*nao*

システム開発者 兼 大学講師。AI、ノートテイク、要約筆記、音声認識、字幕、マイコン、…

*nao*

システム開発者 兼 大学講師。AI、ノートテイク、要約筆記、音声認識、字幕、マイコン、地域協働、ももいろクローバーZに関心あり。

  • 気になるシリーズ

  • 考えてみたシリーズ

    ノートの中で、考えたり、まとめたりしてみたものを　マガジンにしてみました。

  • 字幕・音声認識関連

    ノートテイク、音声認識、文字通訳など、文字で音声を伝える関連の記事です。

  • マイコンやってみたシリーズ

  • フォト共有（β）にアップしたくていれてみたシリーズ

    • 気になるシリーズ

    • 考えてみたシリーズ

    • 字幕・音声認識関連

    • マイコンやってみたシリーズ

    • フォト共有（β）にアップしたくていれてみたシリーズ

５年かけて、ももクロちゃんとの夢を形にした話

始めにこの話は… 周りの人に話したら「まぁ、夢としてはそうだけど、かなりハードルたかいっしょ。まず実現しないね」と言われながらも、いろいろ模索しながら、みんなの力を集結して形にできたというお話。 お断り 興行に関する守秘義務事項、ネタバレなどは書きません。連絡されてもお伝えはできないのでご了承ください タイトルは、会場でとったすそノフ写真に４色背景を合成したものです。 実行委員のひとりが書いたことですが、こちらに書かれていることは主催者、他の実行委員、市の意向・総意

*nao*

    • リアルタイム翻訳字幕の特性と向き合い方

      序章ゆかりねっとコネクターという音声認識型の翻訳システムをつくっています。５００人以上の方に支援をしていただきながら３年以上運用を続けています。 認知が広がるにつれ、製作者側が驚くような素晴らしい使い方もあれば、「もっと使い方の工夫ができればもっとよくなるのに…」もあります。 たまに「つかえねーよ、こんなもん」と直接連絡をくださる方もいますが、まぁ、それも１つの個人の感想でしょう。そこを含め、いろいろかきつづってみます。 前提として（意訳も含めた）完ぺきは翻訳を望むなら

      *nao*

      • VRChat + OSC + ゆかりねっと(or Neo)

        ゆかりねっとの音声認識結果をもとに、OSC通信を送付することができるようになりました。 OSC通信とは 簡単にいえば、アバターやワールドとやり取りできる仕組みみたいなものです。これをうまくつかうと、アバターの衣装を切り替えたり、仕掛けを発動したりできます。 ゆかりねっとと連動させる 音声認識させているゆかりねっと（もしくは、ゆかりねっとコネクターNeo）と連動させることで、ワールドに信号をおくることができます。 ただし、信号をおくっても、ワールドやアバターが反応する

        *nao*

        • 配信画面にみんなでお絵描きしよう

          新しいWebアプリを作りました。その名を「おえかきワルキューレ」っていいます。 何ができるの？まぁ、まずはこれ見てみてください。これですべてわかります。 右が、視聴者サイドのキャンバスです。で、絵を描くと、右の配信画面に反映されます。特徴としては、 ・複数人で１つのキャンバスに寄ってたかって描くことができます。 　（そしてリアルタイムに反映されていきます） ・配信側はグリーンバックになっていますが、 　絵を描く方は白もしくは黒背景で絵を描くことが出来ます。 ・スタンプな

          *nao*

        ５年かけて、ももクロちゃんとの夢を形にした話

        *nao*

        マガジン

        マガジンをすべて見る すべて見る
        • 気になるシリーズ
          *nao*
        • 考えてみたシリーズ
          *nao*
        • 字幕・音声認識関連
          *nao*
        • マイコンやってみたシリーズ
          *nao*
        • フォト共有（β）にアップしたくていれてみたシリーズ
          *nao*

        記事

        記事をすべて見る すべて見る

          OBSでリプレイを簡単に

          この休みに、配信アシストアプリ「テロップアシスタント」のレベルアップをしました。 リプレイって何？良く野球の試合で見るアレです。ホームラン打ったあとに「では、もう一度みてみましょう」みたいな。あれを簡単にやろうというわけです。 テロップアシスタントとはOBSとつないで配信操作のお手伝いを行うWindowsアプリです。 これを入れると？ こんなボタンがでます。これをメインに操作していきます。もちろん、STREAM DECKみたいな配信リモコンや、フットコントローラみたい

          *nao*

          OBSでリプレイを簡単に

          *nao*

          MUSIC VKET2×くらげビート7訪問記

          VRワールドで行われている音楽の祭典に行ってきました。結論は「初心者でも十分たのしめるから、躊躇するぐらいなら飛び込め！」って感じです。 事前準備はしっかりできた方がいいけど、これは人生変えるほどの体験ができるかもしれないから、こういうのは行動あるのみ！だと思った。 そんな私の体験記です。 くらげビートって何？くらげビートとは、VRワールドの中で行われているミュージックライブです。 回を重ねるごとにレベルがあがっていくライブですが、＃７まで進みました。過去には「バーチ

          *nao*

          MUSIC VKET2×くらげビート7訪問記

          *nao*

          新アプリ「テロップアシスタント」とは

          テロップアシスタントって何？イメージとしては、配信ソフト「OBS Studio」などと合わせて使う「リモコンアプリ」みたいなもので、OBSの外から表示内容を書き換えられるツールです。 これ使うと何がうれしいの？たとえば、5人の選手が順番にでる配信をやるとしましょう。その場合、名前を埋め込んだレイアウトを５つ作るわけですよね。まぁ、5個ぐらいなら　何とか作れるかもしれませんが、これが毎回増えてきたら大変ですよね。 そして、レイアウトを1枚弄るとしたら、残りの4枚も同じように

          *nao*

          新アプリ「テロップアシスタント」とは

          *nao*

          2周年記念！イベントのおしらせ

          ゆかりねっとコネクターが支援運用をはじめて、もうすぐ２年になります。 こんな暗い世の中だけど、もっと楽しく明るくしたいなぁ、なんていうのもあり、ちょっとイベントをしてみようとおもいます。 イベント概要ゆかりねっとコネクターをつかった動画をコメント付きでツイートしてください。 ＜参加条件＞ 　・ゆかりねっとコネクターをつかっていること 　・ツイートに動画のリンクが載っていること 　　（クリップや、Youtube/TwitchのアーカイブでもOK） 　・ハッシュタグ ：下記

          *nao*

          2周年記念！イベントのおしらせ

          *nao*

          調整について。

          たまにツールを使ってくれている情報を得ると、唐突にみたりするんだけど、いろいろためしてくれた動画をみつけたので、今日は設定に関するコメントを返してみようと思う。 ほんと、ゆかりねっとコネクターをつかってもらえてうれしかったです。 設定についてのコメント たくさんしゃべると文字が上に行っちゃう件。まず文字が伸びてきたときにどちら側に文字をスライドしていくか。 ここにチェックをいれると、上に伸びていきます。チェックを外すと、下に伸びていきます。まずスクロールアウトするのが

          *nao*

          調整について。

          *nao*

          デジタル・トランスフォーメーション(DX)

          いわゆる全体最適のようなもの。「デジタルやITをはじめ、いろんな手段をつかいながら、より良いありたい姿へシフトする」 その昔、ドラッカーが「労働集約型から、知的労働型へ」というのにも、トランスフォーメーションの雰囲気を感じる。 全体最適といえば、それぞれのセクションだけで「最適な方法を取り入れよう」みたいな、部分最適の塊みたいなことをやっても、結局うまくいかないんだろう。 あと、DXするためには理念・信条・ポリシーってのも大事なんだろうね。最初からこの辺りに自信があれば

          *nao*

          デジタル・トランスフォーメーション(DX)

          *nao*

          無料翻訳が不調な件について

          ここ最近、ゆかりねっとコネクターに限らず、翻訳を支援するプログラム（チャットボット、TwiChaDash、翻訳○○…）が調子悪いという話がありますよね。 それはなぜか？ 無料翻訳は、韓国のオープンソースプログラマーが開発したgoogletransというpyhtonのライブラリを使って実現しています。 このライブラリは、おそらくGoogleのHPにある翻訳システムを活用して翻訳文を得られるようなシステムです。(プログラムの詳細を読んでいないので何とも言えませんが、たぶんそ

          *nao*

          無料翻訳が不調な件について

          *nao*

          私はなぜ配信をみるのか？

          家に居る人が増えてなのか…ゲーム実況をはじめとした配信が増えてます。まぁ、きっかけがなければ、進んで見に行こうとはならないかもしれませんね。でも、あえて一歩踏み込んでみると人生観が変わる、というお話。 １．配信といえば…メジャーなところでいけば、Youtuber、Vtuber みたいなところですかね。 Youtubeだと、割とテーマを決めた配信をしていたり、もう有名どころの人も多いですね。 日本ではまだまだ有名ではありませんが、ゲームを中心とした動画配信プラットフォームと

          *nao*

          私はなぜ配信をみるのか？

          *nao*

          ライブ動画に字幕を入れる（改）

          ゆかりねっとコネクターをつかって、配信動画にリアルタイム字幕をいれるための手法を改めて解説します。増えた機能をメインに紹介しますね。 ※情報に整合が取れてない、とご連絡をいただいたので加筆しました。 　下記の内容は、v3.2a36 を基準にしてます。　(9/17 PM 8) １．簡単なのは、ウィンドウキャプチャ― だいたいどんな配信ソフトでも使えるのが、ウィンドウキャプチャ―機能でしょう。これは簡単。背反は負荷が少しかかるのと、文字がすこしぼやける点でしょうか。 ２．

          *nao*

          ライブ動画に字幕を入れる（改）

          *nao*

          画面翻訳をつかう

          このnoteは、ゆかりねっとコネクターの画面翻訳機能をどのようにつかうか、解説したものです。 １．画面翻訳機能とは画面の上にある他国語を翻訳するための機能です。ゲームなどで使えると思いますが、うまく画面スキャンが行えない場合には使えないかもしれません。 ２．事前準備まずは、ゆかりねっとコネクターをいれてください。 そうすると、このような画面がでます。 現時点での仕様では、このような手順で使用できる様になっています。 ①読み取る場所をきめて、設定しておく。 ②読み取って

          *nao*

          画面翻訳をつかう

          *nao*

          翻訳アプリを作って1年運用してみた。

          今年1年、お金がかかるアプリをつくって、運用してみました。やり始める前には覚悟がいるけど、実際にやったら楽しかったし得るものが多かったっていうお話。 1.ターゲットを決める今回つくったアプリは、「話した言葉を即興で翻訳して字幕に出す」アプリです。ゆかりねっとコネクターって言います。こんな感じで翻訳が出せるアプリ。 このアプリは、ゲーム配信やVtuberの方々、動画作成の方々が主に使ってくださっているアプリです。 これを作るにあたってですが、普段やっている活動・研究の関係

          *nao*

          翻訳アプリを作って1年運用してみた。

          *nao*

          音声認識結果をAviutlに入れる

          実況系映像をつくるとしたら…　丸ごと録画しておいたものに、字幕をつけたくなりますよね。 ってことで、そこを簡単にできるよう、ゆかりねっとコネクターを改良しました。 ボタンがおせないところは、FANBOXの合言葉をいれると押せるようになります。一番手っ取り早く使えるのは、「ゆかりねっとログ読み込み」でしょうか。 ゆかりねっとを使っている方は、ユーザフォルダの\AppData\Yukarinette にログがのこってますので、それを選べば、その日ゆかりねっとで話した言葉を読

          *nao*

          音声認識結果をAviutlに入れる

          *nao*