又是发布即开源! Meta“分割一切AI”二代SAM2在SIGGRAPH上刚刚亮相。 相较于上一代,它的能力从图像分割拓展到视频分割。 可实时处理任意长视频,视频中没见过的对象也能轻松分割追踪。 更关键的是,模型代码、权重以及数据集通通开源! 它和Llama系列一样遵循Apache 2.0许可协议,并根据BSD-3许可分享评估代码。 网友yygq:我就问OpenAI尴尬不尴尬。 Meta表示,此次开源的数据集包含51000个真实世界视频和600000个时空掩码(masklets,spatio-temporal masks),规模远超此前最大同类数据集。 可在线试玩的demo也同步上线,大家都能来体验。 在SAM之上加入记忆模块 相较于SAM一代,SAM2的能力升级主要有: 支持任意长视频实时分割 实现zero-shot泛化 分割和追踪准确性提升 解决遮挡问题 它进行交互式分割的过程主要分为两步:选择和细化。 在第一帧中,用户通过点击来选择目标对象,SAM2根据点击自动将分割传播到后续帧,形成时空掩码。 如果SAM2在某些帧中丢失了目标对象,用户可以通过在新一帧中提供额外的提示来进行校正。 如果在第三帧中需要需要恢复对象,只需在该帧中点击即可。 SAM2的核心思路是将图像视作单帧视频,因此可以从SAM直接扩展至视频领域,同时支持图像和视频输入。 处理视频唯一的区别在于,模型需要依赖内存来回忆处理过的信息,以便在当前时间步长上准确分割对象。 与图像分割相比,视频分割中,物体的运动、变形、遮挡和光线等都会发生强烈变化。同时分割视频中的对象需要了解实体跨越空间和时间的位置。 所以Meta主要做了三部分工作: 设计一个可提示的视觉分割任务 在SAM基础上设计新模型 构建SA-V数据集 首先,团队设计了一个视觉分割任务,将图像分割任务推广到视频领域。 SAM被训练成以图像中的输入点、框或掩码来定义目标并预测分割掩码(segmentation mask)。 然后训练SAM在视频的任意帧中接受prompt来定义要预测的时空掩码(masklet)。 SAM2根据输入提示对当前帧上的掩码进行即时预测,并进行临时传播,在所有帧上都可生成目标对象的掩码。 一旦预测到初始掩码,就可以通过任何帧中向SAM2提供额外提示来进行迭代改进,它可以根据需要重复多次,直到获取到所有掩码。 通过引入流式记忆(streaming memory),模型可以实时处理视频,还能更加准确分割和跟踪目标对象。 它由记忆编码器、记忆库和记忆注意力模块组成。让模型一次只处理一帧图像,利用先前帧信息辅助当前帧的分割任务。 分割图像时,内存组件为空,模型和SAM类似。分割视频时,记忆组件能够存储对象信息以及先前的交互信息,从而使得SAM2可以在整个视频中进行掩码预测。 如果在其他帧上有了额外提示,SAM2可以根据目标对象的存储记忆进行纠错。 记忆编码器根据当前预测创建记忆,记忆库保留有关视频目标对象过去预测的信息。记忆注意力机制通过条件化当前帧特征,并根据过去帧的特征调整以产生嵌入,然后将其传递到掩码解码器以生成该帧的掩码预测,后续帧不断重复此操作。 这种设计也允许模型可以处理任意时长的视频,不仅对于SA-V数据集的注释收集很重要,也对于机器人等领域应有有影响。 如果被分割对象比较模糊,SAM2还会输出多个有效掩码。比如用户点击了自行车的轮胎,模型可以将此理解为多种掩码,可能是指轮胎、可能是指自行车全部,并输出多个预测。 在视频中,如果在一帧图像中仅有轮胎可见,那么可能需要分割的是轮胎;如果视频后续帧中很多都出现了自行车,那么可能需要分割的是自行车。 如果还是不能判断用户到底想分割哪个部分,模型会按照置信度进行选择。 此外,视频中还容易出现分割对象被遮挡的情况。为了解决这个新情况,SAM2还增加了一个额外的模型输出“遮挡头”(occlusion head),用来预测对象是否出现在当前帧上。 此外,在数据集方面。 SA-V中包含的视频数量是现有最大同类数据集的4.5倍,注释量则是53倍。 为了收集到如此多的数据,研究团队构建了一个数据引擎。人工会利用SAM2在视频中注释时空掩码,然后将新的注释用来更新SAM2。多次重复这一循环,就能不断迭代数据集和模型。 和SAM相似,研究团队不对注释的时空掩码进行语义约束,而是更加关注完整的物体。 这一方法让收集视频对象分割掩码速度也大幅提升,比SAM快8.4倍。 解决过度分割、超越SOTA 对比来看,使用SAM2可以很好解决过度分割的问题。 实验数据显示,和半监督SOTA方法比较,SAM2各项性能都表现不错。 不过研究团队也表示,SAM2还有不足, 比如可能会跟丢对象。如果相机视角变化大、在比较拥挤的场景里,就容易出现这类情况。所以他们设计了实时交互的模式,支持手动修正。 以及目标对象移动过快,可能会细节上有缺失。 最后,模型不仅开源支持免费使用,并已在Amazon SageMaker 等平台上托管。 值得一提的是,有人发现论文中提到SAM2训练是在256块A100上耗时108小时完成,对比SAM1则花了68小时。 从图像分割扩展到视频领域,成本如此低? 本文来源:量子位 |
原创栏目
IT百科
网友评论
聚超值•精选