Tora翻译站点

Tora是什么

Tora的特点

• 轨迹导向：Tora 特别强调对视频内容中运动轨迹的控制，能够根据预设的轨迹生成视频。
• 多条件集成：框架能够同时处理文本描述、视觉内容和运动轨迹，实现多维度的视频生成。
• 高保真度：Tora 在模拟物理世界的运动方面表现出色，生成的视频具有高运动保真度。
• 可扩展性：设计上与 DiT 的可扩展性相匹配，支持不同时长、宽高比和分辨率的视频内容控制。

Tora的主要功能

• 轨迹提取器（Trajectory Extractor, TE）：将输入的轨迹转换成层次化的时空运动块，这些运动块与视频内容的潜在空间相匹配。
• 时空扩散变换器（Spatial-Temporal DiT）：结合空间和时间的自注意力机制，处理视频数据，使模型能够理解和生成具有连贯运动的视频。
• 运动引导融合器（Motion-guidance Fuser, MGF）：负责将轨迹提取器生成的时空运动块整合到 DiT 模型中，确保生成的视频内容遵循预定的轨迹和动态。