ついに生成AIの文字の問題が解決!?「AnyText」他 / Catch up on AI 2023.12.31

Pick up

日本語や漢字などを生成AIで出力しようとすると、文字化けしたようになり可読性が全くない文字が生成されていた問題を解決する「AnyText」。漢字だけでは無くて、カタカナなども日本語にも対応。

これはさらなる進化に期待したい！

AnyText: Multilingual Visual Text Generation And Editing
Code：https://github.com/tyxsspa/AnyText?tab=readme-ov-file#inference
modelscope：https://modelscope.cn/models/damo/cv_anytext_text_generation_editing/summary
arXiv：https://arxiv.org/abs/2311.03054
Demo：https://modelscope.cn/studios/damo/studio_anytext/summary

【ついに生成AIの文字の問題が解決!?】

AnyTextはアリババが発表した、生成AIで日本語や漢字が再現できない課題を解決しうる技術。

Text GenerationとText Editingの2つのモードがあり、プロンプトからテキストを生成したり、既存画像をベースに書体を保ったまま打ち替えることが可能です。

続く>> pic.twitter.com/6RBKvY9rI8

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 31, 2023

Catch up on AI

ComfyUI Prompt Composerは、複数のプロンプトをスライダーで重要度を定められる拡張機能

【プロンプトの重み付を自由に】

ComfyUI Prompt Composerは、複数のプロンプトをスライダーで重要度を定められるComfyUIの拡張機能。

これは凄い便利！パラメーターでも制御はできますが、スライダーで重みが可視化されているので直感的に生成AIをコントロールできる。

続く>>#生成AI pic.twitter.com/ldRign0mE1

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 31, 2023

Leonardo Aiでリアルタイムに生成可能な、Realtime Genがリリース。

【生成AIサービスでも次々にリアルタイムが】

Leonardo Ai（ @LeonardoAi_ ）でリアルタイムに生成可能な、Realtime Genがリリース。

プロンプトを入力すると、テキストの内容が即座に表示。リアルタイムで微調整し理想に近づけることが可能。pic.twitter.com/aKSv6otY3d

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 31, 2023

リアルタイム生成AIをComfyUIでも「ComfyUI-Diffusers」

【リアルタイム生成AIをComfyUIでも】

ComfyUI-Diffusersは、各所で話題になっている、 StreamDiffusionをComfyUIで実現するパイプライン。

ワークフローも公開されており、ComfyUIにドロップすることで簡単に利用することが可能です！

続く>>pic.twitter.com/ouoMFQwELg

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 31, 2023

マッキンゼーのレポートがハイエンド人材の職が奪われる可能性が高いとのレポート。

【AIは人の仕事を奪うか？】

マッキンゼーのレポートがハイエンド人材の食が奪われる可能性が高いとのレポート。

AIでは無く、AIを覚えたハイエンド人材が、一騎当千で駆逐するイメージが高い。

自分の周りの高いレベルのプレイヤーは生成AIは下駄とか金棒のような感覚で捉えてる。 https://t.co/v4jBnZKGZR

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 31, 2023

AIインタラクティブアート「Kinetic Diffusion」

【AIインタラクティブアート】

Kinetic Diffusionと言われるAIアートが面白い。

おそらく、動きからプロンプトを抽出し、リアルタイムに生成結果をプロジェクションされている画面に返すというもの。リアルタイム生成AIを活かした。新時代のアート作品。

続く>>pic.twitter.com/ff3j0P6AHV

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 31, 2023

2頭身のキャラにも対応したモーション生成AI「MoMask」

【2頭身のキャラにも対応】
MoMaskはプロンプトで3Dヒューマンモーション生成のためのフレームワーク。

標準的な体系のキャラクターだけではなく、頭身の低いキャラクターのモーション生成にも対応。先行研究に比べてもかなりプロンプトを理解し、スムーズに動作します。

続く>> pic.twitter.com/IwSQvki1fv

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 30, 2023

生成AIのアニメ動画に、インパクトフレームと名付けられた演出を加える

【生成AIのアニメを底上げ】

生成AIのアニメ動画に、インパクトフレームと名付けられた演出を加えることで、AIアニメの変換しただけ感を払拭する実験。

演出を加えるってことなんだけど、全然印象が変わる。日本のアニメーター x 生成AIを見てみたい！

続く>>pic.twitter.com/f4rKwW1K8i

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 30, 2023

生成AIの手の問題を解決「HandRefiner」

【生成AIの手の問題を解決】

HandRefinerは、生成AIの、手や指の問題を解決。手の指が増えたり、指がグチャグチャになってしまったり、指が再現できない問題がありましたが、軽量の後処理を加えることで解決。

生成AIのあらゆる問題は世界中が動き、少しずつ改善されているのは本当に凄い。

続く>> pic.twitter.com/xDoKAdbuVG

— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) December 30, 2023

AIのNewsやアートワーク情報を更新中⚡

Catch up on AI｜Yoshihiro Tanaka | taziku｜note

X（Twitter）ではAIの最新情報を発信中🐦

Tweets by taziku_co