您当前的位置:首页 > 互联网百科 > 视频

抖音世界杯的画质优化实践

时间:2023-03-04 13:48:00  来源:  作者:字节跳动技术团队
世界杯赛事涉及链路众多,如何保障各链路的画质稳定并进一步提升画质,是一个巨大的挑战。本文主要介绍火山引擎多媒体实验室在世界杯期间画质的相关工作。

背景介绍

卡塔尔世界杯已经结束,29 天赛程,64 场比赛,最终梅西带领阿根廷时隔三十六年再次捧杯。世界杯期间,抖音提供的稳定高质直播画面为观众带来了完美的观赛体验,决赛的 PCU 高达 3700W+。

世界杯赛事涉及链路众多,如何保障各链路的画质稳定并进一步提升画质,是一个巨大的挑战。本文主要介绍火山引擎多媒体实验室在世界杯期间画质的相关工作。

画质优化链路

世界杯涉及链路较长,可简化为下图流程,FIFA 现场信号首先传到央视端进行合规安全处理,然后经过演播室的制作传输给 CDN 再进一步分发到用户侧。从画质角度来看整个链路可分为画质检测与画质优化两个部分,对于 CDN 之前的链路以画质监测为主,以发现问题/定位问题/推动对应链路人员解决问题为目的。画质优化在 CDN 和客户端两侧进行,下面的内容主要介绍画质优化部分。

 

图片

 

本次世界杯直播使用支持 HDR(高动态范围)设备录制,团队对支持 HDR 的设备增加了 HDR 档位,同时提供了多种不同分辨率/帧率的档位。为了使得观众获得更好的画质体验,团队通过自研的自适应 ToneMApping,视频降噪,ROI,端上超分等算法有效地提升了赛事画质。

卡塔尔世界杯采用 HDR 拍摄方式,HDR 拍摄的片源拥有更广的色域,更大的动态范围。但对很多终端显示设备而言,并不支持 HDR 信号播放,所以通过 ToneMapping 算法将 HDR 信号转换为 SDR(标准动态范围)信号是十分必要的。

 

图片

 

相比 SDR 信号,HDR 信号拥有更广的色域和更大的动态范围,在转换到 SDR 信号的过程中不可避免会产生一些信息损失。常用的一些 ToneMapping 方法,不论是 Reinhard,Filmic 或者 Hable,其本质都是设计固定的映射曲线实现从 HDR 到 SDR 的转换,同时尽量保持对 HDR 效果的还原。但对于世界杯等大型赛事,现场动态范围跨度极大,场馆的灯光/草地/球员亮度差异明显,观众感兴趣的球员信息实际集中在暗部区域,这就导致 ToneMapping 之后的 SDR 信号过暗的问题,为了解决这一问题,团队提出了内容自适应 ToneMapping 算法,通过统计视频内容的实际光照情况动态地进行 ToneMapping,从而得到更优效果。

左: Hable 算法,右: 内容自适应 ToneMapping

 

图片

图片

 

为了兼顾视频码率和主观画质,团队使用了基于 LSTM(长短期记忆网络)的时域 ROI 技术,通过人眼显著性区域检测和编码相结合的方式,让码率在画面上的分配更加合理。目前市面上没有专门针对足球场景的 saliency(显著性物体检测)数据集,通用的 saliency 数据集在世界杯这类特定场景中表现并不理想。针对这一问题,团队专门制作了足球场景的 saliency 数据集,通过眼动仪追踪球迷观看球赛时的关注区域得到足球比赛的专用 saliency 数据集,从而极大增加了模型的准确性。针对足球场景中显著性物体较多,显著性区域分散的特点,团队对检测模型进行了专门的优化,在保证检测速度的前提下,提高了模型的召回率和不同场景的鲁棒性,从而实现更优的主观质量。

注:红色框内表示 ROI 区域,左边为通用方案结果,右边为优化结果

 

图片

 

 

图片

 

同时团队使用了视频降噪算法,根据视频信息对其进行空域、时域噪声的去除,将带有噪声的视频处理成干净、没有噪声的视频。由于去除了视频的噪声,在提升视频质量的基础上同时降低了传输的码率。由于用户侧网速的限制,端上存在多个档位,当看播端网速较慢时,可能会切换到 480P/720P 等低分辨档位,此时会触发端上超分算法提升画面清晰度。超分辨率技术指的是,基于机器学习/深度学习方法,根据视频信息对其进行空域、时域建模重构出缺失的细节,将低分辨率的视频重建出高分辨率视频的技术。这样即使是在低分辨档位也能体验到更清晰的画质。

左:视频降噪前,右:视频降噪后

 

图片

 

左:视频超分前,右:视频超分后

 

图片

 

除此之外团队还提供大分辨率、高帧率、广色域,并使用色彩增强、自适应锐化等多种画质增强技术,呈现更加沉浸感的超高清画面。



Tags:抖音   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
视频号,从抖音挖来一个“一姐”?
文|王亚琪编辑|斯问“你说你要尊严,一个月5000块钱的合同工资,能体现你的尊严吗?”“我那么多的人脉和资源,你如果够聪明的话,你踩着我肩膀往上爬不是更快吗?你拿着我每个月收来的房...【详细内容】
2024-04-09  Search: 抖音  点击:(3)  评论:(0)  加入收藏
入驻拼多多,东方甄选为何非要“叛”出抖音?
文|闻旅 老默编辑|李怡东方甄选的反骨DNA又动了。近期东方甄选悄悄入驻拼多多,开出了“东方甄选旗舰店”。目前已上架百余件商品,以生鲜、零食特产、饮料冲饮等食品类产品为主...【详细内容】
2024-04-09  Search: 抖音  点击:(1)  评论:(0)  加入收藏
东方甄选公布自营品两周年“战绩”:抖音销量近1亿单 自营品总数超400款
上证报中国证券网讯(记者 夏子航)4月9日,东方甄选公布了自营品两周年“战绩”:抖音销量近1亿单,自营品总数超400款,单月新品超60款。据介绍,自从2022年4月推出第一款自营产品后,在过...【详细内容】
2024-04-09  Search: 抖音  点击:(1)  评论:(0)  加入收藏
电商,抖音、TikTok共同的“下一站”?
如果要为抖音的2024找出一个关键词,电商或许能够“遥遥领先”。3月28日,北京商报记者从知情人士处获悉,抖音电商副总裁木青即将转职TikTok电商。此前不久,抖音电商刚刚推出了名...【详细内容】
2024-03-29  Search: 抖音  点击:(13)  评论:(0)  加入收藏
抖音电商走向「独立」:货架电商全面GMV将达万亿元
出品 / 新浪科技(ID:techsina)作者 / 徐苑蕾在后直播电商时代,抖音又开始觊觎淘宝、京东的根基——货架电商。近日,抖音悄悄上线了一款名为“抖音商城版”的App,这是在...【详细内容】
2024-03-27  Search: 抖音  点击:(11)  评论:(0)  加入收藏
抖音进攻货架电商:“抄袭”淘宝,超越淘宝?
文 | 新浪科技 徐苑蕾在后直播电商时代,抖音又开始觊觎淘宝、京东的根基——货架电商。近日,抖音悄悄上线了一款名为“抖音商城版”的App,这是在抖音App外首次推出电...【详细内容】
2024-03-27  Search: 抖音  点击:(13)  评论:(0)  加入收藏
抖音电商推出独立APP“抖音商城版”,主攻货架场景
图片来源:视觉中国近日,抖音电商近日推出了独立的“抖音商城版”APP。对此,抖音电商相关负责人向蓝鲸财经表示:“我们观察到部分用户在主动购物方面存在着旺盛的需求,为了更好地...【详细内容】
2024-03-26  Search: 抖音  点击:(10)  评论:(0)  加入收藏
那些梦想在抖音做大的游戏主播,不知不觉成为了养料
文 | 游戏价值论01说个趣事。前几天,有一个斗鱼的王者荣耀主播在合约期满后,转到了抖音开启直播。在抖音开启直播后,该主播在抖音的直播间大吐苦水,称斗鱼平台的观众很少,抽象的...【详细内容】
2024-03-26  Search: 抖音  点击:(10)  评论:(0)  加入收藏
抖音电商首次走出抖音,上线抖音商城版APP
3月26日消息,近日,字节上线了一款名为“抖音商城版”的APP,主打“超值好物省心选”,意在与淘宝、京东、拼多多等竞争。这也是抖音电商首次在抖音APP之外,推出综合性独立电商平台...【详细内容】
2024-03-26  Search: 抖音  点击:(8)  评论:(0)  加入收藏
抖音视频出现恶意内容如何代举报 用户可以尝试这几个方法
抖音视频下架通常是因为该视频违反了抖音平台的规定和政策。这些规定和政策是为了保护用户免受不良内容的影响,同时维护平台的声誉和秩序。如果视频内容包含低俗、暴力、恶意...【详细内容】
2024-03-26  Search: 抖音  点击:(10)  评论:(0)  加入收藏
▌简易百科推荐
短剧淘金者摊牌:抖快们,吸了多少“血”?
  文 | 新浪科技 徐苑蕾  昨晚有媒体报道,短剧备案新规出台,从2024年6月1日起,未经审核且备案的微短剧不得上网传播,目前多地已下发文件。  在过去的一年中,大家都想在短剧...【详细内容】
2024-04-11    新浪科技  Tags:短剧   点击:(3)  评论:(0)  加入收藏
月薪一万,看不起短剧
月薪一万,看不起短剧下班后喜欢看短视频打发时间的刘康,最近爱上了“捡垃圾式刷短剧”。他解释说,这是网友们看短剧剪辑时的玩笑话,这里看一集,那里刷一集,拼拼凑凑大结局,一部短剧...【详细内容】
2024-04-08    中国新闻周刊  Tags:短剧   点击:(4)  评论:(0)  加入收藏
让横店变“竖店”的微短剧正在向流量要质量
从原先的野蛮生长到朝着专业化、精品化的路径发展让横店变“竖店”的微短剧正在向流量要质量从今年春节期间,《我在八零年代当后妈》《大过年的》等微短剧爆火,到全国两会,多位...【详细内容】
2024-04-07    工人日报  Tags:微短剧   点击:(5)  评论:(0)  加入收藏
“停不下来”的微短剧将走向何方?
2023年我国微短剧市场规模达373.9亿元,同比上升267.65%“停不下来”的微短剧将走向何方?□ 南京日报/紫金山新闻记者 程锦欣“1987?我穿越了!”微短剧《我在八零年代当后妈》一...【详细内容】
2024-04-07    南京日报  Tags:微短剧   点击:(6)  评论:(0)  加入收藏
2024年短剧市场规模将超500亿,破解难点助其良性发展
随着移动互联网的普及和观众审美需求的多样化发展,微短剧作为新型影视形式乘风崛起,以爆发式增长态势迅速激活短剧市场,为影视行业带来新活力。一方面,市场规模持续扩大,上线作品...【详细内容】
2024-04-06    澎湃新闻  Tags:短剧   点击:(7)  评论:(0)  加入收藏
解锁一集只需0.9元!很多人被套路……
15秒一个包袱,30秒一个反转,将几十分钟剧情浓缩在短短几分钟剧集的微短剧吸引了不少观众。然而,微短剧大规模获取商业利润的同时,也出现了不少问题。不少微短剧需要充值会员或付...【详细内容】
2024-04-05    央视新闻  Tags:套路   点击:(6)  评论:(0)  加入收藏
诱导付费、自动扣费……微短剧被质疑借助算法精准“围猎”老年人
诱导付费、自动扣费、重复收费……聚焦身边的消费烦心事⑦丨一些微短剧被质疑借助算法精准“围猎”老年人中工网北京3月31日电(工人日报—中工网记者刘兵)...【详细内容】
2024-04-01    中国青年网  Tags:微短剧   点击:(6)  评论:(0)  加入收藏
未来5年微短剧或撬动千亿市场 短剧的下一个“财富密码”是它?
数据来源:中国网络视听发展报告(2024)“当下,网络视听是全球最大最火爆、最有前途,且充满活力的行业之一。而短剧尤其是微短剧以及延伸出来的网络新型直播,是目前中国和全球网络视...【详细内容】
2024-03-28    每日经济新闻  Tags:微短剧   点击:(13)  评论:(0)  加入收藏
70%短剧用户是中低收入群体,微短剧为何如此让人“上头”
据法治日报报道,微短剧,即单集时长从几十秒到15分钟左右、有着相对明确的主题和主线、较为连续和完整的故事情节的网络影视作品。有调查机构数据显示,70%的网络短剧用户群体是...【详细内容】
2024-03-27    36氪  Tags:短剧   点击:(0)  评论:(0)  加入收藏
千亿短剧的付费“局中局”
定焦(dingjiaoone)原创作者 | 王璐编辑 | 魏佳又被下架了。近期,中国网络视听协会发布通报,短剧《老师不要跑》因剧情低俗,台词、画面、情节涉及严重软色情,该剧及其播出的小程序...【详细内容】
2024-03-25    定焦One  Tags:短剧   点击:(13)  评论:(0)  加入收藏
站内最新
站内热门
站内头条