平台的竞争从来都不止于内容。芒果TV在诞生之初的“痛苦”中明白了这个道理。如果技术成为制约因素,即使是国内顶尖的视频内容创作团队也不一定总能胜出。但当技术终于追上从互联网土壤中生长出来的“腾爱优”时,视听领域的“国家队”未来将何去何从?

  在今年芒果TV主办的第二届算法大赛的颁奖舞台上,虚拟主持人尧尧的出现在一定程度上回答了这个问题。

  虚拟人技术超越了虚拟偶像的培养。

  与通常的演播厅不同,这个颁奖舞台的观众席后方不是演播厅,而是一个动作捕捉舞台。离演员两米远,芒果TV创新研究院的技术团队围坐在一起。

  算法大赛颁奖典礼虚拟主持人尧尧现场抓演员彩排现场

  近年来,程序员拿着电脑围坐在舞台上的场景频繁出现在各种虚拟偶像表演舞台的背后。随着芒果TV的发展,他们的技术团队终于走到了台前。

  相比于市场上其他大厂和虚拟偶像公司,芒果TV此时推出自己的虚拟主机,动作似乎有点慢。不过,在与芒果TV创新研究院创始人的交流中,36Kr也听到了不同的回答:芒果TV对虚拟技术的主要研究和应用方向,并不是国内视频平台常用的虚拟偶像,而是期望将虚拟技术普及到整个大众市场,让技术更容易使用,让每个消费者都能创造出自己的虚拟人。

   “未来可以通过手机同步行动,可以在虚拟场景中,在会捏脸的虚拟人的帮助下聚在一起。”创新学院院长张亦弛告诉36Kr。

  虚拟项目团队的负责人吴红也表示,该团队目前正在开发虚拟场景等资产。吴红的思维与当前的NFT思维非常相似。他认为,虚拟人、虚拟场景等资产也是数字资产的一种,现在的角色资产、场景资产也在为这种趋势做准备。“我们对这项技术探索得越深入,未来的使用成本就会越低。还能为内容创作者输出虚拟内容的工具产品。”吴红,告诉36Kr。

  据了解,虚拟场景还将用于芒果TV剧本杀、电商直播等商业场景。

  根据芒果TV母公司芒果超媒历年财报,其进行了两次技术增持,累计金额超过10亿元。如2019年芒果TV智能视听媒体服务平台项目融资5亿元,其中比例最高的是R & ampd与MR、AR、VR、AI、互动剧技术相关,预计投资1.5亿人民币。

  算法大赛互动展区的工作人员演示了仅用四台ipad就能完成的轻量级动态补偿技术。

  在本次算法大赛颁奖典礼的互动展区,芒果TV技术团队也作为演讲嘉宾亮相展厅,逐一展示了这些项目的初赛成果。除了很多人尝试的轻量级动态捕捉场景,内容广告的AI算法研究也是很多人关注的焦点。

  现场“找植入物”游戏,桌上的牙膏是AI植入物。

  为了这次展览,技术团队还做了一个“找植入物”的小游戏。游戏把真实的植入场景和混淆元素放在不同的视频中,让观众找出哪个是真实的植入视频。在游戏中,沙发上的抱枕LOGO、桌子上摆放的产品、墙上的灯光等不同形式的广告投放完全依赖后期的AI技术,但这些植入的素材可以根据视频中的光影、运动轨迹、遮挡关系与视频场景融合,达到“以假乱真”的效果。

  作为一个脱胎于电视台的视频内容平台,很多人对芒果TV的印象可能主要集中在综艺、电视剧等内容上,甚至会认为芒果TV是承载湖南卫视节目内容的误区。但作为一家互联网公司,芒果TV技术团队已经不仅仅承担了维护视频正常播放的职能。

   “可以说,我们的技术进步很大一部分是商业逼出来的。”技术组组长陆海波

  由于优秀的内容创作,来自业务端的大量需求往往像洪水一样交给技术团队,这也迫使技术团队在解决了基于“点”的技术和迭代版本后,开始开发各种方便内容创作和创新的工具产品。

   “过去,我们的植入物不太好,但现在可以了。我还清楚地记得《乘风破浪的姐姐》有一场植入戏,女嘉宾的几根头发飞过那个牌子,光影效果太好了,我都没看出来是植入。”陆海波告诉36Kr。据他介绍,相比其他视频平台大量的流量变现收入,内容广告和流量广告可以占到芒果TV广告收入的5: 5,这也对芒果TV的内容植入技术提出了更高的要求。

  芒果的电视自动植入演示

   “我们经常在节目开始后有很多品牌,因为节目很热。”陆海波解释道。但此时,节目的一部分已经录制完毕。如果广告需要重新植入,节目组需要重拍或者后期下大力气补充,实际上是不可能的。为了节约成本,这就是迭代式的内容植入AI技术。

  借助工具,在互动展区,观众可以使用ipad体验广告植入的过程,将产品拖入屏幕。产品绘制完成后,会自动适应镜头角度、光照等维度,达到融入画面的效果。

  除了内容广告,内容形式的创新也给技术带来很多突破的机会,比如互动剧的工具开发。

  电视互动剧编辑器后台

   “我们的交互式戏剧编辑器对于内容团队来说使用起来也非常简单,并且它不仅支持在演示模式下点击,还支持允许用户从多个角度滑动和观看场景等许多效果。”陆海波补充道。现场还展示了互动剧的剪辑师。这个编辑器就像橙光游戏一样。支持内容创作者构建多个支线剧情,直接上传不同阶段的视频内容。

  类似的创新还有很多:比如为支持《天南海北》节目组快速剪辑而开发的4K云制播技术。利用这项技术,剪辑团队减少了大量繁琐的传输时间,降低了对剪辑设备的要求。节目录制完成后,可以在云端进行编辑,让大规模素材快速处理并发回;例如,为上传媒体资源而开发的自动化。

  打点剪辑取标题技术,这项技术开发后,上传分段节目不再需要大量人力。媒资团队将节目成片直接上传后,系统即会自动打点取标题,人力只需要简单审核编辑即可。

  从技术掣肘到助力内容找下一个增长点

  “我们追上其他几家的技术已经是2018-2019年,最开始成立的时候还是吃过一些亏。”卢海波回忆道。

  2014年,视频行业还是优酷、土豆、爱奇艺天下。当时爱奇艺购买湖南卫视综艺播放版权,让《快乐大本营》等一批经典综艺有了网络播放渠道。也是同时期,湖南广电决定发展视频平台,作为重要战略成立了芒果TV。因为与爱奇艺的合同约定,湖南卫视仍可在自己的网络平台播放综艺,这也让芒果TV有了播放台里媒资的资格。

  据芒果TV内部员工回忆,当时,芒果TV受限于技术,媒资上线总比爱奇艺要晚。比如当天播完的《快乐大本营》,爱奇艺在节目播完后几分钟即可上线到网站。但芒果TV还在上传媒资,解码技术也不好。几个小时后,《快乐大本营》登录芒果TV,画质清晰度也不如爱奇艺。

  “那个时候,我们网站还容易崩溃,用户抱怨卡顿。不像现在,我们经常和业务各部门吃饭,讨论的都是未来还能怎么做了。”卢海波说。

  从不被看好到终于追平行业水平,芒果TV走了近五年。

  “时代不一样,创作的阵地也不一样。我们一定会去配合我们的艺术创作者,去攻坚克难,帮他们配备这样的工具和场地。”谈及未来,卢海波憧憬道。

  而对于芒果TV的未来,从技术研究方向及业务布局就可见一斑。

  在今年算法大赛中,有这样一道赛题,需要参赛选手设计算法让手机可检测音乐节拍并做出互动。在展区,芒果TV以《披荆斩棘的哥哥》为例进行了展示,展示区的手机在使用最新版芒果TV APP播放节目时,手机可配合节目内容实时增加震动与闪光灯。

  虽然这样的呈现方式仍局限于硬件功能(比如手机),但芒果TV已经在文娱类互动体验方面加码了。

  芒果超媒旗下剧本杀品牌M-CITY

  从芒果TV母公司芒果超媒目前的业态来看,除却视频内容业务外,小芒电商与剧本杀、密逃等线下实景娱乐也成为了新的探索性业务。特别是以M-CITY为品牌的剧本杀类业务,作为芒果TV旗下综艺《明星大侦探》延申业务,目前也依托于资源协同和明侦宇宙IP的知名度在剧本杀行业占据着一席之地。

  吴红对36氪透露,芒果TV创新研究院针对MR相关的技术研究也已经有了方向,在不久后,创新研究院也会上新MR+剧本杀类工具,让玩家能在虚拟场景搜证和体验剧情,增加剧本杀沉浸感。

  那么在未来,芒果TV会往哪儿去?

  技术与内容创作深度融合,让内容不再受限于“一块屏幕”这样的呈现方式,一定是必然的。