「SORAのぶっちゃけ使用感」要約とCling/Dream Machine/Gen3の登場〈生成ガチャはまだまだ続く〉

最近、動画制作業の方々と話していると、今年頭のSORA登場インパクトから「そのうち仕事がなくなるのでは」🫨と感じている方が少なくないです
「まだそこまで万能じゃないよ」という下記の記事を知らない方もいらっしゃるので、改めて説明用＆備忘録としてざっくり翻訳・要約しました

元記事はこちら「fx guide」
👇25年の歴史を持つ特殊効果専門メディアです

「SORAを実際に使ってみて」

SOR

＜AI挑戦＞GPTでキャラクター動画を全自動生成

5月13日にローンチされ、その進化を称賛されているGPT4oですが
その特徴に

マルチモーダル化（音声/動画への対応）

人間らしいスムーズな会話

の２つが挙げられます

という事で、さっそくコンテンツ生成AIとしての可能性をテストしました
…が、結果だけ先にお伝えすると「全自動でキャラ動画とかまだ無理ゲー！」です😅
まだまだ発展途上、本記事は試行錯誤の現在地確認レポートです！

お題「イル

＜実験＞最新モデル『GPT-4o』をIPPONグランプリの大喜利で試す

この「IIPOON GRANPRIIX」は「IPPONグランプリ」の大喜利お題を各AIに出題し、いかに面白い答えを引き出せるかに挑戦する実験企画です

GPT4oで大喜利に挑戦性能の高さで話題を集めるGPT4oですが
「GPT4oはギャクの理解度が高い」というツイートを見かけたので、以前より続けている大喜利対決「IIPOON GRANPRIIX」に緊急で参戦してもらうことにしました

では早速開始

Gemini 1.5 Proの動画作品理解力が爆上りしていた

一か月半ほど前に、アーリーアクセスのGemini 1.5 Proについてこのような検証記事を書きました
＜検証＞Gemini 1.5 Proの動画理解は何がどうダメなのか

自作のショート映像作品を分析したのですが、この時は内容の理解以前にきちんと機能しておらず、全くもって散々な結果でした

ところが・・・先週、4月半ばに一般に正式公開され、その後各種LLMのベンチマークリストで平均して上位にとど

世界のしくみを「見て」理解しバーチャルに再現するAI「Google Genie」

実験場管理人のpsymenです
AI最新情報を読み解きます！

Google DeepMind研究所の新AIモデルGenieは大量のゲームプレイ画面から「空間」「時間」「物理」を自動で読み取り学習して、マリオ的な横スクロールアクション映像を生成する事ができます

下記はYouTubeの実況画面からラベルなしでGenieが自己学習したモデルによる「横スクロール的な動画」の出力です

Genieは「モ

AI×Web3！ Stable DiffusionのGPU元気玉作戦が発動？

実験場管理人のpsymenです
AI最新情報を読み解きます！

Stable Diffusion前CEO Emad氏の
反中央集権主義先日Stability AI社の経営フロントから退いたEmad（エマド）氏は、常々GAFAMやOpenAIなどの大資本によるAI市場の独占支配を批判してきました
AIクリエイターが大好きなStable Diffusionがオープンソースなのは、氏が掲げるAI非中央集

動画生成AI「Sora」 プロクリエイターによる短編作品が続々公開

実験場管理人のpsymenです
AI最新情報を読み解きます！

OpenAIがクリエイターのSora生成作品を公開安全性検証のため、レッドチームとしてSoraのβ版検証を委託されたアーティスト達がいます
彼らがSoraを使って制作した動画作品が公開されました

CMのプリプロ制作

ショートフィルム制作

映画・MV制作

MV制作

XRクリーチャーの
プロトタイピングへの応用

デジタルファッ

OpenAI サム・アルトマン最新２時間インタビュー＜7500文字 詳しめ要約＞

実験場管理人のpsymenです
AI最新情報を読み解きます！

レックス・フリードマンは、MITで自動運転AIなどを研究する傍ら、世界の天才たちを相手に数時間に及ぶ容赦のないガチインタビューをする、ポッドキャストインフルエンサーです
彼がサム・アルトマンに２回目のインタビューをしました

3/18に公開された、この2時間に渡るインタビューですが、
解任騒動を含めて、サム氏がとつとつと真摯に話してい

YouTube生成AI動画のラベル義務化開始｜該当事項の具体例

実験場管理人のpsymenです
最新情報をクリエイターの視点から発信しています

昨年末にアナウンスされた通り、Youtubeにおける生成AI利用動画への、クリエイター自身によるラベル付けの義務化が開始されました
悪質な違反にはアカウントBANもあります

どういった内容の動画ラベリングの対象になるのか、その線引きがYoutubeのサイトに記されています

ざっと確認したところ、基本的に「事実を誤

＜検証＞Gemini 1.5 Proの動画理解は何がどうダメなのか

＜更新情報＞
この記事の後、たった2ヶ月で
全然「ダメ」ではなくなりました
現在のGeminiはサイコーです

🎉Gemini1.5Proが使えるようになりました申し込んでから3週間ぐらいでしょうか
Soraどころか、そのあとのClaude3とのダブルパンチでもはや誰も話題にしていない感のある悲しいGemini1.5Proですが、早期アクセスの申し込みが通り、晴れて使用可能になりました

興味は

＜実験＞IPPONグランプリ決勝戦のお題にAIで面白回答できるか（中編）Claude3緊急参戦！

「前編」では・・・ChatGPT（4 Turbo）に詳細なプロンプトを設定して
大喜利の回答を生成しましたがどれもイマイチでした

今回は
「解決策にそってプロンプト改善！」
と行きたいところですが
その前に…

1ヶ月で新世代LLMがガンガン登場したので
「中編」はClaude3（クロード）の緊急参戦です本当、流れがあまりに早くて追いつくのがやっとなんです！ 😅

「Claude3 Opus」

〈考察〉能力はダウンロードすればよくない？AIの未来はマトリックス🥋 Google Gemini Pro1.5

考察困難な状況にある主人公が、突然「能力」に目覚めて無双する展開、ワクワクしますよね
『マトリックス』では寝たきり人生から目覚めたばかりの主人公のネオが、格闘技の能力を脳にダウンロードする事で強敵のエージェントたちと互角に戦っていました
ChatGPTに代表されるLLM（大規模言語モデル）の進化を見てると、そんな未来が思い浮かんできました

「グーグルのGemini Pro 1.5のインコンテキス

＜NEWS考察＞AI自動検索サービス「Perplexity｣が生成記事でポッドキャスト配信を開始

実験場管理人のpsymenです
最新情報をクリエイターの視点から発信しています

ポッドキャスト番組「Discover Daily」Perplexity.AIとは？Perplexity.AIは会話型検索エンジンで、ユーザーの代わりにAIが検索して物事について調べてまとめてくれる、AI検索プラットフォームです
ChatGPTなどと違い、最新の情報を検索して答えられるのがポイントです
2022年8月に

＜検証＞アリババが発表した高性能リップシンク「EMO」はどのぐらいエモいのか？【モナリザの微笑】

🌏Hello World…!!
実験場管理人のpsymenです
最新情報をクリエイターの視点から発信しています

2/27にアリババの研究所から発表された「EMO」は、人物のポートレート画像から表現豊かなリップシンク動画を生成する技術です

「リップシンク」ってなんぞ？という方はこちらの記事を御覧ください

＜検証＞「表情豊か」だと噂の「EMO」がどれぐらい名前通りにエモいのか、既存のアバター生

【カツラが脱げない！】動画生成AI Runway Gen2「Auto-detect area」

Soraのローンチ前に
動画系生成AI各社が
新機能ローンチを前倒しの様子

Runway Gen2が静止画から自動で領域を選択して、任意のアニメートができる機能「Auto-detect area」を実装したので試しました

認識能力はかなり高そうです
せっかく髪の毛を認識しているので、カツラという事にして上へ動かしてみましょうか

では実行！(▶ 動画を再生してください)

うーん・・・まあ、こ

【各生成AIがSoraに慌てて技術公表を前倒し？】
先日発表されたStableDiffusion3が今後の開発イメージ動画をポスト
オブジェクトの書き換え機能など
「視覚データのTransformer機構」が今年前半のトレンドの様子
https://x.com/PsymenJ/status/1761669094594822316