ReCamMaster 开源项目安装与配置指南

1. 项目基础介绍

ReCamMaster 是一个开源项目，旨在通过使用单视频生成新摄像机轨迹的渲染效果。该项目提供了一个参考实现，允许用户重拍野外视频，并赋予其新颖的摄像机移动轨迹。项目使用 Unreal Engine 5 渲染的多摄像机同步视频数据集进行了测试。该项目的主要编程语言是 Python。

2. 项目使用的关键技术和框架

• Python: 项目的主要编程语言。
• T2V 模型: 一个内部开发的文本到视频（Text-to-Video）模型，用于生成视频的新摄像机轨迹。
• Wan2.1: 由于公司政策限制，原始的 T2V 模型无法开源，因此项目迁移到了 Wan2.1 模型来验证方法的有效性。
• DiffSynth-Studio: 用于编译扩展的 Rust 和 Cargo 工具。
• Pandas: 数据处理库。
• PyTorch: 深度学习框架。

3. 项目安装和配置的准备工作与详细步骤

准备工作

• 确保系统中已安装 Python（建议版本 3.7 及以上）。
• 安装 Rust 和 Cargo（如果尚未安装）。
• 准备 Git 工具以克隆项目仓库。

安装步骤

步骤 1: 克隆项目仓库

打开命令行终端，执行以下命令克隆项目仓库：

git clone https://github.com/KwaiVGI/ReCamMaster.git
cd ReCamMaster

步骤 2: 安装项目依赖

在项目根目录下，执行以下命令安装项目所需的 Python 依赖：

pip install -e .

步骤 3: 安装 DiffSynth-Studio

执行以下命令安装 DiffSynth-Studio：

curl --proto 'https' --tlsv1.2 -sSf https://sh.rustup.rs/ | sh

步骤 4: 下载预训练的模型

执行以下命令下载预训练的 Wan2.1 模型：

cd ReCamMaster
python download_wan2.1.py

接下来，从 Hugging Face 下载预训练的 ReCamMaster 检查点，并将其放置在 models/ReCamMaster/checkpoints 目录下。

步骤 5: 测试示例视频

使用以下命令测试示例视频：

python inference_recammaster.py --cam_type 1

步骤 6: 准备自己的测试数据

如果想要测试自己的视频，需要按照 example_test_data 文件夹的结构准备测试数据。这包括 N 个 mp4 格式的视频，每个至少有 81 帧画面，以及一个包含路径和对应标题的 metadata.csv 文件。

步骤 7: 训练模型（可选）

如果需要训练模型，请确保已经下载了 MultiCamVideo 数据集，并按照项目说明进行数据预处理和训练。

以上就是 ReCamMaster 项目的详细安装和配置指南。按照以上步骤操作，就可以顺利安装和运行该项目了。