酷应用

为了让《英雄联盟》S10赛事直播“快一秒”，虎牙拿出了怎样的“黑科技”？

百家作者：手游那点事 2020-10-24 22:02:07

左为虎牙AI基础技术部总经理许佳，右为音视频网络技术部总经理谭舜文

随着《英雄联盟》S10比赛如火如荼地进行，即将迎来的半决赛、总决赛热度也肉眼可见的节节攀升。

在虎牙直播观看S10的一些朋友可能会发现：在直播进度条上，出现了一个个以一血、团战、胜利等为标注的点，用户可以十分方便地回溯不小心错过的精彩瞬间，或者是整局比赛；

而喜欢看弹幕、享受直播观赛现场感的玩家会发现，现在的海量弹幕，不会遮天蔽日到“吵到眼睛”了，它们遇到各色英雄、不同皮肤、技能、大龙等等就会主动隐去，甚至全图大招还能像扫把一样在重重弹幕中开出一条路的效果。

此外，有些玩家跟身边的朋友对比的话可能会发现，虎牙直播好像比其他直播平台“快一秒”，直播进度更靠前一点。

实际上，所有的这些用户能感知到的变化，都是虎牙为今年S10赛事所做出的技术创新和突破。而幕后的这些“黑科技”新功能——AI智能回放、防遮挡弹幕，以及做到“快一秒”领先技术的后台架构，都致力于为用户提供一种“不一样”的观看体验。

那么这次S10期间，虎牙重点推广的这三大功能，到底是怎样的？背后有着什么样的考量和设想？手游那点事在S10决赛前夕，请来了虎牙AI基础技术部总经理许佳、音视频网络技术部总经理谭舜文，与他们聊了聊游戏赛事直播的进化。

一、拒绝同质化，虎牙如何引领赛事直播从“温饱”奔“小康”

尽管在今天的S10赛事中我们才切实地感受到虎牙在赛事直播上的迭代，但其实早在两年前，他们就已经开始启动了这一技术。

许佳表示“早期我们也和其他同行一样，专注于解决可用性的问题，第一，不要卡；第二，画质够高清。基本上3、4年下来，直播平台已经将基础问题解决了，相当于搞定了“温饱”。

但随着技术的逐步发展，用户会认为观看直播不出现卡顿已经是基本要求，我们的下一步就是实现“小康”，也就是如何让观众有更好的观赛体验。同时我们发现，S赛事有一个问题在于内容同质化。为了与其他直播平台打出差异化，我们在内容的生产和加工上下了一番功夫。”

于是从2018年开始，虎牙就把AI技术加入到了赛事直播当中，而“打点回放”和“AI智能弹幕”便是AI技术团队今年拿出的两个大招。

数据证明他们这一步走对了。在虎牙平台上，在开启弹幕效果的情景下，高达98%的用户都开启了防遮挡弹幕功能。而AI智能打点回放，目前也有10%的使用率。

许佳告诉我们，“98%的防遮挡弹幕开启率，意味着绝大多数用户对这一功能都非常喜欢，甚至是依赖。而AI智能回放的10%使用率，其实也是符合我们预期的，目前我们还没有刻意去宣传这一功能，我预计，在之后的比赛，或者明年的同期时候，当有更多的用户了解这一功能后，使用率会有进一步提升。”

从过去稳定、不出错地完成直播；到去年S9虎牙将赛事直播源做了4K的超分，实现超高清直播；再到今年做更多个性化的功能，虎牙在S赛的直播上已经完成了又一次的突破。

二、AI智能打点回放，解决硬核玩家痛点

实际上，在观看线上比赛时，回放并不是一个新的功能，过去不管是导播切画面、还是拖动进度条，都能实现“回放”的效果。但现在，虎牙加入AI技术之后，能够完成打点回放，自动识别精彩瞬间，并以此作为节点让用户实现一键回放。

这一功能的出现大大满足了硬核玩家的需求。“我们利用积累的技术去识别那些精彩的时刻，比如一血、击杀、防御塔摧毁，甚至团灭，从而帮助用户精确地定点到这个时刻，为用户带来更好的观看体验。”

对于目前这一功能的设定，许佳提到：“现在一局比赛平均10次左右，太多了就等于没打，太少又会忽略一些精彩环节，所以我们会通过AI数据分析关键节点，找到折中的尺度。我们也在补充和丰富数据，抽象出一些种类，比如弹幕量很大、观众反映很激烈的时刻，后面会考虑扩展打点类型，目前主要是击杀、团战、推塔的这种胜利时刻。”

对用户来说，这无非就是给不同的精彩瞬间设置起始的节点，但就是这样一个看似很简单的功能，要想精准实现这一效果，背后却有着不少技术上的难点。

“首先是‘精彩瞬间’的实时判断，如何做到满足观众的需求，其次是从计算机视觉角度去识别复杂的动态画面，数据的多样性对我们AI算法准确性带来很大的挑战。这是我们面对的两个最大的难点，也是不断突破的地方。目前我们识别的准确度大概在95%左右，但我们一直在不断迭代和补充数据。目前已经比较接近上限了，但是还有一定的提升空间。”

后来许佳也告诉我们，“打点回放”这一功能他们会持续地优化和升级下去。

“未来我们还会往两方面进行升级，首先是“精彩时刻”的定义，我们现在已经定义了一些类别，未来还需要继续完善。另外一点，我们希望把打点回放的这套系统更加规模化，除了S10这些我们已经可以覆盖的赛事之外，我们也希望在像《和平精英》、《QQ飞车》等其他赛事，甚至主播的直播间也支持这个功能，能够把这个功能更大地输出，进一步拓展影响力，并提升用户黏性与观赛体验。”

三、防遮挡弹幕——兼顾线上狂欢氛围和比赛细节

那么，防遮挡弹幕功能研发的出发点又是什么？许佳说：“防遮挡弹幕跟智能回放是从两个纬度解决观众体验问题：回放是从时间上，智能防遮挡弹幕是在空间上，它们都是为了给观众呈现精彩的节点，精彩的区域，是互补的。”

像S10这种大型的赛事直播，很多硬核玩家可能会看的很细致，会看比如英雄何时放大招以及操作的细节。但另一个问题在于，S10这类大赛事，弹幕一般都是海量的，尤其是“精彩时刻”。如果用户开了弹幕，就看不到英雄和操作，如果关闭弹幕，就无法了解其他观赛者的想法，就缺少了“现场感”。

为了兼顾观赛的“现场感”与捕捉选手的操作、赛场上的细节，许佳团队结合了以前做的检测和分割的技术，开发出了智能防遮挡弹幕功能。

自然，这当中也有许多技术难点。

许佳在谈到技术难题的时候告诉我们，他们在保证防遮挡弹幕功能开启下画面的稳定性，和功能的准确率上做了多次迭代，以保证最佳的体验。同时在与准确性相关的实时性上，许佳团队也尽力做到不滞后：“弹幕分割区域必须跟着英雄、技能走。这方面我们做了很多优化的工作。”

但他也表示，现在的功能还没有尽善尽美，接下来的优化方向主要有两点：“第一，在抖动平滑上面尽可能地准确，追求极致，同时会根据用户反馈，来调节遮挡的范围和时间。”

“第二，像AI智能弹幕，从我们内部来看是首次尝试，也是行业首次。我们也希望将其扩展到其他的赛事上和很多的主播直播间，毕竟，让观众在我们的平台上有更好的观看体验，就是我们的目标”。

许佳表示，虎牙公司在技术上也重视对直播数据的数据挖掘，通过大数据挖掘配合运营策略，实现虎牙的业绩连年翻翻，特别是在主播的运营层面，通过数据挖掘发现新主播的价值，构筑了虎牙的腰部主播生态。在大数据方面，虎牙公司部署了40几个发明专利，在公司也注重对数据的利用，将数据利用的理念进行执行层面的灌输。

他说：“虎牙公司另外一个比较重视的方向就是AI基础技术研发，虎牙除了有数字人技术平台外，还打造了AI中台，海聪机器学习平台等。比如，2020年，虎牙在CVPR，ICML，Siggraph Asia， ACCV等行业顶会上发表多篇论文，在人脸结构化和场景结构化等基础AI技术上取得新的突破性进展。而在专利方面，虎牙公司部署了超过60项国内发明专利，20项以上的国际发明专利。”

四、持续追求“快一秒”的直播体验！

除了很多功能上的创新，虎牙也有着技术的升级。音视频网络技术部总经理谭舜文讲到，相比于去年的S9，今年虎牙在S10直播的技术上主要有两大方面的升级。