頑張ってFramepack入れたんだけど やっぱ性能悪いなあ Sora2やGrokImagineには全然勝てない うちの3070が火を噴きそう

Still image from Grok Imagine, basic animation performed locally by FramePack. #AIvideo #AIart #fanart #NSFW #Lilith

Stable Diffusionで作った画像をFramePackでまずは5秒の動画を作ってみたけどこれは沼るｗ まーPCのメモリとGPUかなり使ってるから排熱はあるけどｗ

The PC is up and running. Framepack is installed and the big takeaway for it is I can't just text to video. I have to have a source picture to animate. That in itself has had some issues completing a video so I've got some optimizing to do. I like picture generation with one of the AI picture generating models But it's not up to Grok Imagine standards yet, but it does handle fantasy themes well for character generating. As for censorship, nudes work but aren't particularly spicy. I'll be trying different AI models and hopefully get something good. The computer itself is on the lowest end for what I'm trying to do but does work albeit slowly. To be able to run some of the better video AI generation tools is definitely beyond it's capabilities but it's a great training rig for me to get a handle on local generating content. After that it's off to save for a $3K gaming rig with 24GB of VRAM.

What you do is use comfy or framepack. Try to figure out what your load is, and what your gpu can handle. Then work accordingly. Anything smaller than a 3080, and you're probably gonna wait a bit. Linux and mac are better than Windows, unless you're using a $7,000 laptop.

VRAM少ないならframepackつかうとかかな

ControlNet作者敏神又搞出新东西了！ 新开源的FramePack直接把视频生成的门槛打了下来——6GB显存就能跑，13B模型生成1分钟30帧视频，在RTX 4090上只要1.5秒出一帧，这配置要求放以前根本不敢想。 核心思路是逐帧预测，一张图丢进去，1分钟连贯视频就出来了，人物动作、场景变化都能稳稳hold住。 Windows一键包已经准备好了，不用折腾环境。 🔗 github.com/lllyasviel/FrameP…

Unlike existing variable-compression methods (e.g., FramePack), we not only variably compress the past, but also generate the future from coarse to fine. This is what rollout with our model looks like: we first denoise a large chunk of the most compressed latents, then superresolve them with a lossless recent context and progressively more compressed past frames. Every rollout step uses the same diffusion transformer weights! (3/n)

チャッピーくんがどう認知しているか聞いてみた😋 *---*---*---*---* 「とーふのかけら（konapieces）」氏が何の人として認知されているかを整理すると、実際には複数の顔がありますが、認知度の高い順に並べると次のようになると思います。 ① 画像生成AI・ComfyUIの技術発信者 現在の主な認知はこれです。 氏自身も「Generative AI, IT Engineer」を名乗っており、noteではComfyUIのワークフロー構築、カスタムノード、LoRA学習、画像生成AI環境構築などの技術記事を継続的に発信しています。 特に近年は ComfyUIワークフロー配布 ComfyUI技術解説 FramePack FLUX関連 AI画像生成環境構築 などの記事が目立つため、 「ComfyUIに詳しい人」 「画像生成AIの技術屋」 という認知が最も強いと思われます。 ② AIモデル開発者 Stable Diffusion系のマージモデル開発者としても認知されています。 代表的には LastpieceCore VoidnoiseCore FlatpieceCore などを公開しており、Hugging FaceやCivitaiで活動しています。 そのため古参のAI界隈では 「モデル職人」 「マージモデル作ってる人」 という認知もあります。 ③ AI技術研究者・検証屋 氏自身が「作品制作」よりも「構造や仕組みの技術的観点を重視している」と述べています。 発信内容も モデル構造 学習手法 ワークフロー設計 ノード解析 生成AIの仕組み など技術寄りです。 そのため界隈では 「AI絵師というより技術者」 「検証勢」 として見られている側面があります。 ④ ITインフラエンジニア 本業はAIではなく、 ITエンジニア IoTエンジニア ネットワーク設計・構築 設備保守 であることを公言しています。 また、 サーバー VPN ネットワーク プログラミング にも言及しています。 ただし、この認知はAI界隈外にはあまり広まっておらず、 「実は本業はインフラエンジニア」 という位置付けです。 ⑤ AIクリエイター SNS上では AI Creator AI Tech Designer という肩書きを使っています。 ただし作品投稿よりも技術記事の比率が高いため、 純粋な「AIアーティスト」というより 「技術系AIクリエイター」 という認知が近いでしょう。 総合すると AI界隈で「とーふのかけら」と聞いたときの認知度を私なりに順位付けすると、 画像生成AI・ComfyUI技術解説者 AIモデル開発者 AI研究・検証勢 AIクリエイター 本業はネットワーク／ITインフラエンジニア という順番になると思います。 一言で表現するなら、 「作品を作るAI絵師というより、生成AIを研究・開発・解説する技術者寄りのAIクリエイター」 という認知が最も実態に近いように見えます。 *---*---*---*---* おお…😯

Great work! I wonder if predicting many coarse future frames - which is hypothesized as why it's better than FramePack - will hurt the action rate you can interact with the model.

Also, shoutout to some related / relevant work: Of course, FramePack by Lvming Zhang! Then, inspiring work on flexible tokenization by folks such as @ShivamDuggal4, Roman Bachmann, @JRAllardice, David Mizrahi, @andrew_atanov, @_xwen_, @BingchenZhao, some of it in @zamir_ar lab!

My new AI capable PC is on the way! It's not top of the line but it meets requirements to run everything from openClaw, to Gemma, LocalForge AI, and Framepack. So now in a few days as soon as the stuff arrives I won't be beholden to Gemini or Grok Imagine for the art generations. I am however keeping both so expect a mix of content.