![見出し画像](https://assets.st-note.com/production/uploads/images/133748479/rectangle_large_type_2_6637416e027373f3a8fc189e387a6c85.png?width=800)
Weekly Report 2024/03/13 (wed)
個人的に気になったニュースや自主制作などの週報メモです。
自主制作 / 記事
Elemental Anima #0126
Elemental Anima #0126
— takio koizumi | takion.eth (@takion0105) March 10, 2024
Created by :
takio koizumi (Human) x HAL (AI)
🔽Detail / Link pic.twitter.com/WGAWizy8FI
今作は様々な想いが重なった作品になりました。毎年この時期は"東日本大震災"の追悼作品を制作しています。今年の干支である竜と桜、奇跡の一本松をモチーフに制作する事は以前から決めていました。そして、今作を制作中に鳥山明先生の訃報がありました。あまりのショックで作業の手が止まり、呆然としながら意識せず手に取ったドラゴンボールは35巻でした。読み終わった後、すぐに作業を再開し一気に仕上げました。自分にとって今作は特別な作品になりました。鳥山明先生、ありがとうございました。
[作業BGM] 宇多田ヒカル "桜流し"
[ニュース] AI関連
[動画] Pika - Sound Effects
…Sorry, we were on mute. Today we’re launching Sound Effects on Pika.
— Pika (@pika_labs) March 9, 2024
Now you can seamlessly generate and integrate sound into your videos. Either prompt the sound you want, or let Pika automatically generate it based on the content of your video.
If that sounds great, it’s… pic.twitter.com/975ThEhZke
Pikaの新しい機能、サウンドエフェクトが公開されました。今後、動画生成系のサービスは、動画の精度やカスタマイズ性だけではなく、編集、音楽など動画制作に必要な機能拡張の競争になっていきそうです。
[画像] Huawei - PIXART-Σ
hires.fixやアップスケールではなく、直接4K解像度が生成できるようになりました。PixArt-αは環境にも配慮し学習コストの軽減に取り組んでいる素晴らしいモデルです。具体的な生成速度やモデル情報に関してはまだありませんが、PixArt-αも精度が高かったので公開されたら検証してみたいです。
[画像] Midjourney - Consistent Characters
We're testing a new algorithm today to help you have "consistent characters" across your images. Check out our announcement channel for more instructions. It works for both MJ6 and Niji6 models. We hope this helps you play with telling stories and building new worlds <3
— Midjourney (@midjourney) March 11, 2024
一貫性のある人物の生成が出来るようになりました。簡単に検証してみた所、IP-Adapterの精度と同程度でした。まだ、IP-Adapter+LoRAの方が一貫性は高い気がしますが、1枚の画像で手軽にこの一貫性を出せるのは凄いですね。色々な問題や議論が起こりそうな機能ですが、どのような流れになっていくのか注視していきたいと思います。
[画像] ByteDance - PeRFlow
LCMの次のアプローチPeRFlowがByteDanceから公開されました。LCMより精度と速度が上がっておりStableDiffusionに導入しやすく、ControlNetやWonder3Dなどの3D系のモデルにも対応できるとの事なのでで新たな流行になりそうですね。
[3D] CRM: Single Image to 3D Textured Mesh with Convolutional Reconstruction Model
約10秒で1枚の画像からテクスチャー込みの3Dメッシュ生成が出来るようになってます。demoを触ってみると、かなり早くObj形式で出力されたので驚きました。興味がありましたら是非。そして、早速ComfyUI 3Dにも実装されてました。
[動画] DragAnything: Motion Control for Anything using Entity Representation
ComfyUI上でRunwayのモーションブラシの様な仕組みが実装されたら最高ですね。
[画像] Kopia - AI バーチャル 試着 サービス
自分のショップなどにAIによるバーチャル試着機能を導入できるサービスが公開されました。サービスの価格やUIなど色々勉強になります。どんな学習モデルとAI生成技術を活用しているのか気になりますね。
[ネタ] ComfyUI - Catcat
ComfyUIで生成する際に猫のGIFが再生されるExtensionです。このようなネタ系が出てくるあたり少し落ち着いてきた感じがしますね。
[3D] TripoSR - Stable Diffusion web UI
画像やテキストから3Dモデルを生成するTripoSRをStableDiffusion WebUIに対応したExtentionが公開されました。
[画像] OOTDiffusion - バーチャル 試着
OOTDiffusion official Gradio demo is now available on 🤗Spaces.
— Gradio (@Gradio) March 11, 2024
🕺SOTA in virtual try-on (VTON)
Merges the garment features accurately with the target human image within the model's self-attention layers that help the model focus on relevant parts of the image.
⭐️Model on hub. pic.twitter.com/7atpzIGiP1
自分のキャラを着せ替えしたり、色々な服のバリエーションを検証する時にも便利ですね。
[LLM] Claude 3 - Animation
I asked Claude 3 to generate an animation for the POV of a neuron in a large neural net. it gave me this: pic.twitter.com/Ejex0sED8j
— rahul (@0interestrates) March 9, 2024
LLMでこのようなアニメーション作成する発想が全く無かったので驚きました。資料にちょっと追加したい時に活用できそうですね。
[AI活用] ゲーム - Echoes of Somewhere
Echoes of Somewhere is a free release experimental 2.5D point and click adventure game anthology with no monetisation. The project is research into gen AI utilised in game production and what does it mean for devs? #ai #indiedev #buildinpublic The project has an extensive devblog https://t.co/v5cBMh6uEV pic.twitter.com/poS7lvjYUj
— Echoes of Somewhere (@echoesadventure) March 8, 2024
AIを活用したゲームです。こちらの開発ブログはとても細かくゲーム制作におけるAIの活用方法がまとまっているのでご興味がある方は是非。
[LLM] xAI - Grok
This week, @xAI will open source Grok
— Elon Musk (@elonmusk) March 11, 2024
今週中にxAIの開発しているLLM"Grok"が公開されるそうです。OpenAIに対して、オープンではないと主張し続けるイーロン・マスクが自ら行動し始めた形になります。AI民主化の流れに大きな影響があると思うので色々な意味で楽しみです。
[記事] 画像生成AIの著作権問題、文化庁議論で争点はっきり
じっくり読みたいと思います。
[記事] ChatGPT開発のオープンAI“アルトマンCEOが取締役に復帰”
解任騒動からもう4か月たつんですね。時間の流れが速すぎます。
[AI活用] AIを活用したアニメーション制作に注目!アニメTikToker『ツインズひなひま』
セルシェーディングのレンダラーとしてのAI活用ですね。個人的には、線がハッキリしているものより水彩など抽象的な表現にする方がAIならでは感が合ってよいかなと思いました。
[ニュース] CG・リアルタイムエンジン関連
[Blender] Blender Fes 2024
[企業] CyberAgent Game Conference 2024
[企業] CyberAgent Game Conference 2024 - ゲームエフェクト制作へのAI活用
自分が検証していたワークフローとほとんど同じだったので、勉強になりました。少しスライドの中でCivitAIのスクリーンショットがあった点が引っ掛かりました。
[記事] Godot Engine 向けのオンライン・マルチプレイヤー用のオープンソースバックエンド「W4 Cloud」が発表
[EPIC] 4月下旬の Unreal Engine、Twinmotion、および RealityCapture 価格変更のお知らせ
この記事が気に入ったらサポートをしてみませんか?