PySlowFast平台环境搭建及使用

1.环境搭建

SlowFast 平台是Facebook近期开源的视频识别平台。这里对该平台的环境搭建和使用进行记录和总结。

由于平台依赖Detectron2，Detectron2需要Pytorch 1.3以上版本，Pytorch1.3以上版本需要CUDA10.1及以上版本，所以在CUDA10.0及以下的机器上无法使用，建议升级CUDA及对应的显卡驱动。

如果之前并没有使用过FFmpeg等视频库以及Detectron2，那么PySlowFast的开发环境搭建可以参考代码主页提供的INSTALL.md。如果已经安装了相关的环境，不想破坏现有环境，或者PySlowFast需要的库版本和当前系统版本冲突，建议使用docker容器。这里提供一份dockerfile：

FROM pytorch/pytorch:1.3-cuda10.1-cudnn7-devel

RUN apt-get update && apt-get install vim libsm6 libxrender1 libxext-dev

WORKDIR /opt

RUN cd /opt && \
    pip install 'git+https://github.com/facebookresearch/fvcore' && \
    pip install simplejson && \
    conda install av -c conda-forge && \
    pip install opencv-python && \
    pip install cython && \
    pip install -U 'git+https://github.com/facebookresearch/fvcore.git' 'git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI'

RUN cd /opt && \
    git clone https://github.com/facebookresearch/detectron2 detectron2_repo && \
    pip install -e detectron2_repo

RUN cd /opt && \
    git clone https://github.com/facebookresearch/slowfast && \
    export PYTHONPATH=/opt/slowfast/slowfast:$PYTHONPATH && \
    cd slowfast && \
    python setup.py build develop

接下来，开始准备数据集，PySlowFast平台目前支持AVA和Kinetics两个数据集，并且都提供了下载和准备的说明和脚本，Kinetics数据集较大，而且似乎需要从youtube上面下载视频，由于“不可抗”的原因，这里使用AVA数据集进行测试。数据集的下载及处理参考上面的连接就行。这里不再赘述。

AVA数据集准备好之后，我们就可以直接调用脚本tools/run_net.py来测试一下性能了。

python tools/run_net.py \
  --cfg configs/AVA/c2/SLOWFAST_32x2_R101_50_50_v2.1.yaml

这里就以该脚本详细分析一下代码构成

2.代码构成

run_net.py功能为读取cfg，然后依据cfg的设置调用test_net.py或者train_net.py。run_net.py的导入参数如下：

参数	作用
shard_id	分布式训练使用的节点编号
num_shards	分布式训练使用的节点总数
init_method	分布式训练使用的通讯方式，详见。
cfg	指定配置文件的路径
opts	可覆盖cfg文件中的参数

（1）读取config

SlowFast的config设置基于facebook的fvcore库实现，具体使用可以参考

各种设置的说明详见‘slowfast/config/defaults.py’.

具体而言config的读取顺序为：

“slowfast/config/defaults.py” ➡️ cfg_file（–cfg指定的路径下的配置文件）➡️ opts (–opts下指定的额外的配置)

在读取完cfg文件之后，顺便把checkpoint的路径生成了。这里调用了‘slowfast.utils.checkpoint’下的make_checkpoint_dir。目前slowfast.utils.checkpoint支持的主要功能包括：

方法名	功能	细节
make_checkpoint_dir	生成checkpoint的保存路径	只在分布式训练的主节点上生成
get_last_checkpoint	找到当前保存路径下最新的checkpoint文件
save_checkpoint	保存模型训练的中间参数	不仅仅保存了模型文件，还保存了配置文件和当前的optimizer情况，值得学习
load_checkpoint	读取模型文件	支持将2d卷积读取为3d

（2）Test

这里直接使用训练好的模型，所以先看一下test的逻辑。对应的配置文件为：

cfg.TRAIN.ENABLE = False
cfg.TEST.ENABLE = True

因为运行的机器有四张显卡，所以有：

cfg.NUM_GPUS = 4

因为这样的设置会调用如下的方法开始测试：

torch.multiprocessing.spawn(
    mpu.run,
    nprocs=cfg.NUM_GPUS,
    args=(
        cfg.NUM_GPUS,
        test,
        args.init_method,
        cfg.SHARD_ID,
        cfg.NUM_SHARDS,
        cfg.DIST_BACKEND,
        cfg,
        ),
    daemon=False,
)

去看slowfast/utils/multiprocessing.py下的run方法，会发现输入的参数多了一个local_rank，这里就需要考虑torch.multiprocessing.spawn的实现了，在torch.multiprocessing.spawn中调用的是multiprocessing的Process方法建立进程，但是建立进程时调用的是_warp函数，该函数使用的参数在原先的args的基础上增加了一个i，这个i就是local_rank，所以在我们使用的时候，该参数不用专门设定，代码会依据nprocs的数量自动生成。参考

下面开始测试，这里跳转到test_net.py

设置随机数种子点，设置log什么的就略过了，直接看模型的初始化。这里调用了build_model方法。跳转到build.py

这一部分的操作比较秀，使用fvcore.common.registry构建了一个修饰器，依据模型的名称调用[video_model_builder.py]下的对应的模型类构建模型。这里如果要新增自己的网络，只需要在video_model_builder.py中定义相关的类就行。

接下来调用load_checkpoint方法加载训练好的模型参数，这里需要通过cfg.TEST.CHECKPOINT_FILE_PATH指定模型参数的位置。或者指定模型输出的位置，程序会默认加载最新的模型。如果不指定测试的模型位置，会从训练的模型保存位置加载模型，如果完全不指定模型位置，会随机初始化网络。

接下来就是加载数据，并开始测试了。

未完待续。。。

PySlowFast

1.环境搭建

2.代码构成

（1）读取config

CATALOG

FEATURED TAGS

FRIENDS