動画生成AI Pika1.0のimg2videoを試す 他 / Catch up on AI 2024.1.3
Pick up
話題の動画生成AIでimg2videoの検証結果。入力画像によって大きく異なる結果に。結論としては、アニメセルからのimg2videoが段違いに凄かった！
【Pikaのimg2videoを試す】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 3, 2024
入力画像によっての違いをPika1.0（ @pika_labs ）にて試してみました。入力する画像によって安定性が大きく変わる。
アニメセルルックはかなり安定。ほとんどパラメータ調整無しで、意図通りのアニメーションが付与された。
続く>>#動画生成AI pic.twitter.com/T0ciSMRq7V
続いて、イラストレーション、こちらは間違っていないが、アニメセルルックほどのクオリティは出なかった。 pic.twitter.com/kRSm7lQVi2
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 3, 2024
最後に線画に挑戦。こちらはガイドが取り切れないのか、崩壊してしまった。同じimg2videoで同一プロンプト、パラメータでも入力する画像によって大きく精度はことなる。 pic.twitter.com/iJJsLrFkLB
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 3, 2024
Catch up on AI
軽量かつ高速なLLM「TinyLlama」
【軽量かつ高速なLLM】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 3, 2024
TinyLlamaは、Llamaと同じアーキテクチャを持つ、1.1Bのモデル。M3 Maxで動作させた結果、207 tokens/sを実現。
SDXL Turbo以降、画像生成AIは少し方向性が変わってきましたが、LLMも超高速で動作するモデルにより、新たな進化も見られるかも。#LLMpic.twitter.com/rFoMHfGHfm
生成AIで創ったロボぬいぐるみ
【生成AIで創ったロボぬいぐるみ】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 3, 2024
自身の子どもたちのために生成された、ロボぬいぐるみ。生成AIの完璧では無い不思議な世界観がプロダクトとマッチしている。
空想がデザインの要素に必要な領域のReference探しとして使うにはとても良いですね！
CREATOR：@__JAAF__pic.twitter.com/lyawUvdwVp
強化された3Dアバター生成モデル「En3D」
【強化された3Dアバター生成モデル】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 3, 2024
En3Dはアリババが発表した何百万もの2D画像でトレーニングされた生成モデル。多様性がありつつリアルな3Dアバターを生成可能です。
生成されたアバターは、互換性を持っており、シームレスにリグ付けおよびアニメーション化も！
続く>>#3D #アバター pic.twitter.com/6D0UuNGtaC
2つの動画を合成しつつ生成できる「TrailBlazer」
【2つの動画を合成しつつ生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 3, 2024
TrailBlazerは、境界ボックスを利用してビデオ内の主題を様々な方法で制御することが可能な技術。
一つずつのオブジェクトコントロールも可能ですが、2つの動画の主なオブジェクト同士のみ活かして合成して新たな動画を生成するシーン合成機能も備えています。… pic.twitter.com/Rsg2xz54cq
ボヤけた動画から3DGSを生成可能な「Deblurring 3DGS」
【ボヤけた動画から3DGSを生成】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 3, 2024
「Deblurring 3DGS」はレンズの焦点ぼけ、被写体の動き、手ぶれなどの不鮮明なビデオから鮮明な3D Gaussian splatsを生成できるというもの。
動画の上部が一般的な3DGS、下部がDeblurring 3D Gaussian Splattingによるもの
続く>> pic.twitter.com/77HkALlboY
MIDJOURNEY V6をマスターするための4W1H
【MIDJOURNEY V6をマスターするための4W1H】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 2, 2024
V6は今までのプロンプトが異なると言われています。「4W1H」方式と言われる手法はV6のクオリティを上げてくれるメソッド。
様々な文法がXでは公開されていますが、比較的シンプルな方法
続く>>pic.twitter.com/Sez3Dtd03o
Animate Anyoneがtongyiqianwen app上でリリースか？
【Animate Anyoneのリリース情報】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 2, 2024
世界中で話題になったダンス生成AI 「Animate Anyone」がtongyiqianwen app上でリリースされるという情報が！
少し3Dっぽいイラストレーションなので単純比較はできませんが、デモや論文発表の頃のよりさらに安定性が増している感じがします。#生成AI https://t.co/CSRTmzyaKF
表現力豊かなトーキングヘッドを生成「DreamTalk」
【表現力豊かなトーキングヘッド】
— 田中義弘 | taziku CEO / AI × Creative (@taziku_co) January 2, 2024
DreamTalkはアリババが発表したトーキングヘッド生成フレームワーク。
ただ喋りだすアバターを創るだけでは無く、複数の言語での歌やノイズの多い音声など、様々な入力から自然に動作するトーキングヘッドを生成可能。
音声ONで!
続く>>pic.twitter.com/ZlyEOONzJw
AIのNewsやアートワーク情報を更新中⚡
X（Twitter）ではAIの最新情報を発信中🐦
この記事が気に入ったらサポートをしてみませんか？