但是，虚拟背景的效果可能与用户的需要不同。 大多数人在移动中经历过虚拟背景遮住人脸，虚拟背景无法识别手与桌子的边界等情况。 最近元利用增强的AI模型分割图像，优化了背景模糊功能、虚拟背景功能和其他元产品服务的AR效果。 这样可以更好地区分照片和视频的不同部分。 元ai、实时实验室、元其他部门的研究人员和工程师组成跨部门小组，最近开发出新的图像分割模型，门户、Messenger、Instagram等多个平台的实时视频通话和Spark AR的增强实现APP外壳该组还优化了双人图像分割模型，并已在Instagram和Messenger中应用。
如何让AI改善虚拟背景
该小组在推进图像分割优化中，主要面临以下三大课题。 1 .确保AI在不同环境下也能正常识别。 例如环境阴暗、人物肤色不同、人物肤色接近背景色、人物不常见的身材(如弯腰系鞋带、伸懒腰)、人物被遮挡、人物在动等。 2 .使边缘位置更加光滑、稳定、一致。 这些特征在目前的研究中鲜有讨论，但用户反馈研究表明，这些因素对使用各种背景效果时的体验有很大影响。 3 .让机型在全球数十亿部智能手机上灵活高效地运行。 只能在一些最先进的手机上使用是不行的，这类手机往往配备有最新的处理器。
另外，该机型必须支持各种宽高比的手机，笔记本电脑、元的便携式视频通话设备和人们的手机肖像模式、横向模式都不能保证机型的正常使用。
真实世界个人图像分割模型的挑战
虽然很容易理解图像分割的概念，但是很难得到高精度的个人图像分割结果。 要获得良好的结果，处理图像的模型必须具有极高的一致性和极低的延迟。
如果不正确分割图像输出，会产生各种各样的效果，扰乱使用虚拟背景的视频用户。 更重要的是，图像分割错误会对用户的实际物理环境造成不必要的暴露。 由此可见，图像分割模型的精度必须在90%以上，才能进入实际的市场产品APP应用。 交叉比是测量图像分割预测值和基底真值重叠部分之比的一般标准测量值。 由于使用场景和实例的复杂性巨大，元图像分割模型需要达到的交叉比，最后10%比以前的所有部分要困难得多。Meta的软件工程师们发现，当交叉比达到90%时，图像的可测指标饱和，很难提高时间一致性和空间稳定性。 为了克服这一障碍，元开发了基于视频的测量系统，并与其他一些指标一起解决了这一额外的难度。
为现实世界的APP应用开发AI培训和测量策略
AI模型只能从提供的数据集学习。 因此，要训练高精度的图像分割模型，仅仅简单地输入大量视频用户在明亮的室内端坐的视频样本是不行的。 样品类型应尽可能接近真实世界并丰富。 Meta AI实验室使用其独特的ClusterFit模型，从性别、肤色、年龄、身体姿势、动作、复杂背景、大量样本中提取可用数据。 静态图像的测量值不能准确反映模型实时处理的视频质量。 这是因为实时模型通常需要依赖于时间信息的跟踪模式。 为了测量模型的实时质量，元AI实验室设计了一个定量视频评估体系结构，当模型预测屏幕时，该体系结构计算每帧屏幕的每个指标。 与论文的理想状况不同，元的个人图像分割模型被日常的重要用户评价性能。
出现锯齿、扭曲或其他不理想的效果时，其他性能再好于基准值也没有用。 因此，元ai实验室直接询问了本公司产品的用户对图像分割效果的评价。 结果，边缘不光滑、模糊对用户体验影响最大。 针对这一需求，Meta AI研究所在视频评估框架中添加了一个新指标：“边缘交叉比率”。 当画面普通交叉比大于90%且基本饱和时，边缘交叉比是更需要注意的指标。 此外，屏幕的时间完整性不够，具有图形边缘混合的效果，也影响用户体验。 Meta AI实验室用两种方法测量画面的时间一致性。
文/上海蓝盟 IT外包专家
中文
电话咨询
微信咨询
公众号
