谷歌推出AI扩散模型Lumiere，可通过文字生成连贯动作视频
【#谷歌推出AI扩散模型Lumiere#，可通过文字生成连贯动作视频】谷歌研究院日前推出了一款名为 Lumiere 的“文生视频”扩散模型，主打采用自家最新开发的“Space-Time U-Net”基础架构，号称能够一次生成“完整、真实、动作连贯”的视频。谷歌表示，业界绝大多数“文生视频”模型无法生成时间长、质量佳、动作连贯逼真的内容，这是因为此类模型通常“分段生成视频”，首先产生几张关键帧，接着用“时间超级分辨率（Temporal Super-Resolution）”技术，生成关键帧之间的视频文件，这种方法虽然能够节省 RAM，但难以生成“连贯逼真”的视频。
谷歌提到，他们的新模型 Lumiere 相对于业界模型最大的不同是采用了全新“Space-Time U-Net”基础架构，该架构能够在空间和时间上同时“降采样（Downsample）”信号，从而在“更紧凑的时空中进行更多运算”，令 Lumiere 生成持续时间更长、动作更连贯的视频。Lumiere 一次可以生成 80 帧视频（16FPS 下 5 秒视频 / 24FPS 下约 3.34 秒视频），虽然这一数据看起来很短，不过谷歌研究人员提到，5 秒视频长度实际上“已经超过大多数媒体作品中的平均镜头时长”。（IT之家）
发布于：北京
相关推荐
谷歌推出AI扩散模型Lumiere，可通过文字生成连贯动作视频
又一个视频生成AI火了：Pika五大功能分析
AI视频生成有多卷？
Adobe加入生成式AI战局：推出Firefly工具，可根据文字生成图像
AI开卷「视频生成」！人人当导演的时代要来了？
AI写小说、绘画、剪视频，生成式AI更火了
AI做的视频，也很快要“以假乱真”了？
微软盯上ChatGPT，一场关于生成式AI的豪赌
挑战微软！Adobe宣布推出AI作画工具：输入文字就能生成图
请扶稳，大模型视频生成的第一站到了
网址: 谷歌推出AI扩散模型Lumiere，可通过文字生成连贯动作视频 http://m.xishuta.com/newsview106844.html
