CAST-Bench is a sound-source-first benchmark for joint text-to-audio-video (T2AV) generation. It contains 900 schema-grounded prompts in 9 sound-source categories (100 each), split into 439 ...

文章浏览阅读7次。SyncNet是一种基于深度学习的音视频同步算法，通过双流网络分别提取唇部视觉特征（3D CNN）和音频MFCC特征，计算跨模态余弦相似度以定位帧级偏移。工程实践中需优化人脸检测、唇部ROI定位、特征对齐计算，并采用帧采样、批量推理、FP16量化等加速策略。该技术在在线教育等 ...

指标：AQ（VBench 美学）、FID、LPIPS、FVD、Smoothness、Emoacc，以及两个新指标—— LipScore （用训练数据量为 SyncNet 6 倍的 SOTA 唇读器最后一层嵌入算余弦相似，比 SyncNet 与人类感知相关性更高）与 NSVacc （基于 Kinetics 预训练 MViTv2 的视频分类器，识别 8 类 NSV + 语音共 9 类）。