企业官网建设流程全解析

哪家网站建设最好,网站开发汇报ppt,宁夏建设厅网站查证,网站建设 讲话概述 这项研究旨在解决长时间视频生成中的最大难题#xff1a;长期上下文保存。 传统的扩散变换器#xff08;Diffusion Transformer#xff09;基于自注意机制#xff0c;很难生成数分钟规模的视频#xff0c;因为计算复杂度会随着序列长度的增加而平方增加。 以前的方法…概述这项研究旨在解决长时间视频生成中的最大难题长期上下文保存。传统的扩散变换器Diffusion Transformer基于自注意机制很难生成数分钟规模的视频因为计算复杂度会随着序列长度的增加而平方增加。以前的方法对历史记录进行压缩或固定减薄但存在细节缺失和重要背景缺失等问题。因此作者将视频生成重新表述为一个 内部信息检索 问题并提出了一个框架该框架只动态引用每次查询的相关历史记录。在这一框架中视频被分为帧或镜头每次查询都会选择最有意义的上下文。此外字幕和本地镜头信息始终被用作基本参考点从而保证了叙事的连续性和主题的一致性。结果表明该系统即使在几分钟的长视频中也能保持较高的准确性和一致性同时大大降低了计算复杂度。建议的方法我们提出的方法即上下文混合法MoC是一种动态上下文选择机制而不是完全计算自我注意力。首先视频被分割成语义一致的片段如帧、镜头和字幕。然后每次查询都会计算均值池所代表的块的特征向量和内积并选择前 k 个最相关的块进行注意力计算。此外它还引入了一种设计即始终将所有字幕标记作为基本链接与同一镜头内的所有标记相连接从而在确保本地保真度的同时将计算资源集中在重要的远距离依赖关系上。此外通过强制执行时间方向上的因果关系避免了循环结构从而使生成过程不会中断。这种机制减少了 85% 以上的计算浪费同时保持了主题的一致性和操作的连续性。与传统的压缩和固定稀疏化相比它的特点是灵活和可学习的上下文选择。实验作者进行了单镜头和多镜头视频生成实验以证实所提方法 MoC 的有效性。现有的长文本生成方法 LCT 被用作基础模型MoC 取代了它的自注意层以进行比较。使用 VBench 进行评估评估指标包括主体一致性、背景一致性、动作流畅性和动态程度。结果表明在短视频中保持与密集自我注意相同或更高精度的同时长视频的计算量减少到了七分之一以下生成速度提高了 2.2 倍。特别是在动作的多样性和场景的一致性方面都有所改进克服了传统方法因信息压缩而导致的性能下降问题。此外MoC 在零镜头实验中表现出很高的稳定性证实了它对其他扩散模型的适用性。这些结果表明MoC 在生成长视频方面既高效又富有表现力。