一起动脑筋 · 先看一个小故事
女孩拍下球从桌上滚落的视频。只看最后一帧，机器人可能不知道它怎样掉下来的。
把过程摊开来看
- 画面序列按时间排列
- 时间关系观察前后变化
- 音频等线索按能力加入
- 任务输出描述事件
视频理解需要处理画面随时间的变化，可能还结合音频。
有些系统抽取部分帧，另一些用专门的时序表示；是否能捕捉细小或快速动作取决于采样与模型。
如果关键瞬间没被看到，模型可能错过原因，不能用常识补成确定事实。
轮到你来试一试
模型只看到球在地上，能肯定是谁推下来的？
想好了吗？点开看解释
不能，缺少动作发生时的信息，需要查看相关时间段。
带走一个发现
视频理解需要处理画面随时间的变化，可能还结合音频。
试着遮住上面的图，把每一步讲给家人听。如果某一步说不清楚，就回到那张卡片再看一遍。