[!info] related notes

• 前置笔记: FFmpeg
• 应用场景: 视频关键帧提取, 视频素材理解管线
• 相关概念: pHash 图片去重

FFmpeg 镜头检测

目标

用 FFmpeg 内置的 select 滤镜检测视频中画面发生明显变化的时间点，作为关键帧提取的候选位置。

前置条件

• 已安装 FFmpeg
• 有需要分析的视频文件

原理

FFmpeg 的 select 滤镜支持 scene 变量，它表示当前帧与前一帧之间的画面变化程度，取值范围 0～1。

• scene = 0：画面完全没变
• scene = 1：画面完全不同（硬切）
• scene > 0.3：通常认为发生了明显的场景/镜头变化

核心命令：

select='gt(scene,0.3)'

意思是”选择 scene 分数大于 0.3 的帧”。

步骤

1. 检测场景变化时间点

先输出日志，获取每个变化帧的时间戳：

ffmpeg -i input.mp4 \
  -vf "select='gt(scene,0.3)',showinfo" \
  -f null - 2> scene.log

showinfo 会在 stderr 中打印每帧的详细信息，包含 pts_time（时间戳）。

2. 解析日志获取时间点

从 scene.log 中提取时间戳：

grep "pts_time" scene.log

输出类似：

[Parsed_showinfo_1 ...] n:   0 pts_time:0.000000 ...
[Parsed_showinfo_1 ...] n:  85 pts_time:3.420000 ...
[Parsed_showinfo_1 ...] n: 219 pts_time:8.760000 ...
[Parsed_showinfo_1 ...] n: 380 pts_time:15.200000 ...

3. 按时间点精确抽帧

拿到时间戳后，用 -ss 精确抽帧：

ffmpeg -ss 3.42 -i input.mp4 -frames:v 1 scenes/frame_001.jpg
ffmpeg -ss 8.76 -i input.mp4 -frames:v 1 scenes/frame_002.jpg
ffmpeg -ss 15.20 -i input.mp4 -frames:v 1 scenes/frame_003.jpg

这样每张关键帧都有准确时间戳，后续可用于脚本引用。

4. 直接抽帧（简化版）

如果不需要精确时间戳，可以直接输出图片：

ffmpeg -i input.mp4 \
  -vf "select='gt(scene,0.3)',showinfo" \
  -vsync vfr \
  scenes/frame_%03d.jpg

-vsync vfr 确保只输出被选中的帧，不重复。

阈值调参

阈值	敏感度	适用场景
0.1	很高	容易抽出很多相似帧
0.3	中等	常用默认值，适合大多数短视频
0.4	中高	只抓较明显的切换
0.5	高	只抓硬切，可能漏掉柔和转场

不同视频差异很大：

• 硬切剪辑多的视频：0.3 效果好
• 镜头运动多的视频：0.3 可能抽太多
• 慢慢推拉的镜头：0.3 可能抽太少
• 闪光、字幕跳动：0.3 可能误判

建议先用 0.3 跑一遍看效果，再微调。

局限

• 只能检测视觉变化，不能检测内容价值：它不知道哪个画面更适合作为营销素材
• 短视频不一定有明显镜头切换：连续展示 30 秒可能只抽出 1～2 张
• 阈值不是万能的：不同类型的视频需要不同阈值

因此建议配合固定时间点补帧和 pHash 去重 使用，见 视频素材理解管线。

Python 脚本示例

import subprocess
import re

def detect_scene_changes(video_path, threshold=0.3):
    """用 FFmpeg 检测场景变化时间点"""
    cmd = [
        "ffmpeg", "-i", video_path,
        "-vf", f"select='gt(scene,{threshold})',showinfo",
        "-f", "null", "-"
    ]
    result = subprocess.run(cmd, capture_output=True, text=True)

    # 从 stderr 中提取 pts_time
    timestamps = []
    for line in result.stderr.split("\n"):
        match = re.search(r"pts_time:(\d+\.?\d*)", line)
        if match:
            timestamps.append(float(match.group(1)))

    return timestamps

def extract_frame_at(video_path, timestamp, output_path):
    """按时间点抽帧"""
    cmd = [
        "ffmpeg", "-ss", str(timestamp),
        "-i", video_path,
        "-frames:v", "1",
        output_path
    ]
    subprocess.run(cmd, check=True)

常见问题

抽出的帧太多

提高阈值（如 0.4），或在抽帧后用 pHash 去重。

抽出的帧太少

降低阈值（如 0.2），或补充固定时间点帧。

日志中没有 pts_time

确认用了 showinfo 滤镜，并且输出到 stderr（2> scene.log）。

Related notes

• FFmpeg
• 视频关键帧提取
• pHash 图片去重