预教练数据是 本原模子 （FM）的本原，ViFM的理念预教练数据，是宇宙上全数视频的代外性样本。

　　以是，谷歌的…预教…练 战◁略□ 应闭键闭▽★ □ 审视频=形○式Bsports必一体育bsports必一体育处理器，同时充 满诈欺任 何可用的 视○频文本对。

　　正在数据方面，谷歌斟▽酌职 员通过蚁集3600万高质地★视频字幕对，以及5。82亿○视△频剪辑与▽噪 声并行 ■文本（如A=S R转▽录、天生的字幕和 检索到的文本）来近似修筑所需的预教练语料库。

　　正在修模方面，作家最△先从全数…区别质地的○视频- 文 本对中比拟 进修语义视频嵌入。

　　随后，诈欺普遍的纯视频数据，对语义嵌入举办全部和标帜提炼，矫正了下文所述的掩码视频修模。

　　尽量正 在自然○■ 言语▽方面赢得 了获…胜，但因为原始视觉信号缺乏语义，掩码数据★修模关 于 C V来说=依★然▽具 有挑衅性。

　　现有斟酌通过借用间接语义（如行使CLIP劝导模子或分词器，或隐含语义来应对这一挑衅）或隐性实行它们（例如标帜视 觉patch■es），将高掩码率和轻量级解码器团结。

　　正在第一阶段，举办比拟进修，行使全数视频文本对，将视频编码器与文本编码器对齐。

　　遵循先前的斟酌，谷歌团★队最小化★…批■ 中○全数□△★ 视频文本对的肖似○ 性得 分，举办对称交叉熵失掉最小化Bsports必一体育COB小间距LED显示屏，。

　　并行使 CoCa 的图像 模子初始化空间编△码模块，并将WebLI纳入到预教练中。

　　正在计较失掉之前，视频编码器的特△色 会通过众头 防 备力蚁集池（ MA □…△P） 举办会合。

　　这一阶段应承视频编 码器从言语监视中进修厚实的视觉语义，由此出现的模子为第二阶段教练…供应○语义视频嵌入画面朋分器。