Light-A-Video

Light-A-Video 是一个无需训练的视频重光工具，通过渐进光融合（PLF）技术和一致光注意（CLA）模块，实现视频的重光照。该项目由上海交通大学、中国科学技术大学、香港中文大学、香港科技大学、斯坦福大学和上海人工智能实验室的研究人员共同开发，旨在提升视频中光照效果的自然性，使生成的视频帧在光源和外观上更加一致。

功能特征：

• 无需训练：采用无监督学习方式，不需要大规模的数据集或复杂的训练过程。
• CLA模块：通过双流注意力机制，结合原始帧的高频细节和跨帧平均后的稳定背景光照，确保光照源的稳定性，减少闪烁。
• PLF策略：逐步融合重光照效果，确保在视频去噪过程中保持光照的一致性和平滑过渡，避免不自然效果。
• 广泛兼容性：与多种视频生成模型兼容，如UNet和DiT。

技术流程：

1. 视频编码与加噪：输入视频被编码到潜在空间，并添加噪声以准备后续处理。
2. 逐帧重光照：利用预训练的图像重光照模型对每一帧进行处理。
3. CLA模块应用：通过增强跨帧交互，稳定光照效果，保持视频帧间的一致性。
4. PLF策略实施：逐步将重光照效果融入视频的去噪过程，确保时间上的平滑过渡。
5. 视频解码：最终生成重光照后的视频，保持高质量和时间连贯性。

应用场景： Light-A-Video 适用于视频编辑、电影特效制作、虚拟现实、广告和游戏开发等领域，提供高效、灵活的视频光照调整工具。

Light-A-Video 是首个无需预先训练就能实现高质量、时间连贯的视频重光照模型。