采访嘉宾丨全时云 CTO 赵元军;全时云远程协作及会议部总监 何思颖;全时云运维总监 欧阳华
这次疫情的出现让“云办公”呈现爆发式增长,远程办公、视频会议成为企业复工后的首选。在 2 月 3 日第一波流量高峰的冲击下,众多提供视频会议产品的公司纷纷败下阵来,暴露出很多问题,比如消息延迟、连线卡顿、软件崩溃、协同异常等。毕竟数千万企业、上亿用户的集中涌入,对于国内偏冷门的视频会议供应商而言,有点“受宠若惊”了。
随着阿里、腾讯、今日头条等公司纷纷挤进视频会议的市场,刚需、高频的视频会议,成为厂商竞争的焦点,也是专业视频会议服务供应商争夺的战场。
今天我们来聊聊一家本土的视频会议供应商全时云,以及它背后的技术演进历程。
在采访过程中,全时云 CTO 赵元军不止一次提到,“忙过这一阵子之后,还是要回归到产品,这是陈总(全时云 CEO 陈学军)反复提到的。”
加入全时云之前,赵元军曾在 Cisco-WebEx 工作了 11 年,任插件和远程控制团队技术经理,WebEx 一半以上的会议由赵元军团队所负责的插件开启。想当年,WebEx 可谓是远程办公软件中的“黄埔军校”,后来在 2007 年被思科收购。从 WebEx 走出来的核心团队,一部分留在硅谷加入 Zoom,还有一部分进入了国内远程会议服务供应商全时云。赵元军就是其中之一。
有媒体说,这次疫情将视频会议行业提速了 5 年,赵元军说:“这个观点我认同,但是不准确。对于视频会议提供商而言,一方面,用户量 / 流量确实在短时间内增加了 5 倍以上,但是回归到产品层面,你的视频会议产品真的提升到一个档次了吗?你真的给客户提供了更多的价值吗?”
如果单从产品的成熟度来说,提速 5 年还远没有实现,只是突增的流量将视频会议行业推上了风口。而上一次像这样的行业被提速,还要回到 2003 年的非典。
全时云成立于 2006 年,在此之前它的名字叫“创想空间”,创始人是陈学军和他的两个朋友。在 2000 年的时候,全时云主要做 IP 电话转租,因偶然的机遇,开始转战远程会议领域。
2003 年,非典爆发,北京、广州等重灾区是企业的集中地,陈学军当时决定,公司免费提供电话会议服务。
一下子,使用全时云电话会议系统的公司增长到 100 多家,其中绝大多数是世界 500 强公司。后来非典结束,这批优质的客户却保留了下来,陈学军也坚定了自己当初的判断:远程会议是一块未被开采的原始矿脉。
这件事,一做就是 14 年。期间,对陈学军来说,有一件事的印象很深刻。
2006 年的时候,国内远程会议还很冷门,当时 GE 中国区针对远程会议系统进行招标,十几家企业经过三轮竞标,国际国内公司“全军覆没”。其中,GE 中国区的负责人对全时云的竞标方案,列出了 50 多条缺陷。
正是这张单子,激发了陈学军的斗志,他决定,让公司所有的研发力量都投入到如何解决这 50 多条缺陷上。一年之后,全时云带着新的方案找到 GE 负责人,GE 也自然而然成为了全时云重要的客户之一。
专注于一个领域去解决用户的一个问题,把一件事情做到极致,对于全时云而言这是做企业市场最重要的事情。
中国和美国在会议市场的发展不太一样,美国偏向标准化,中国更倾向于多样化。
第一,美国的互联网发展较早,整体 IT 技术水平也比较高。中国相对来讲,厂商的发展水平参差不齐,比如阿里、腾讯比较前沿,与美国公司相比也毫不逊色。但是还有很多传统的公司,他们的网络情况比较差,所以整体来看,国内的视频会议水平差异比较大。
第二,中国公司和美国公司的“个性”不同。中国公司喜欢自己开发,比如自己开发一个 IM、OA 系统,但美国公司不会这么做,基本上能买就买了,因为这不是核心的产品。
第三,因为国外对于视频会议主要是采购,所以不太涉及与自有平台和工具的整合。而国内公司由于是自己开发部分工具,就需要视频会议供应商提供深度整合的能力。很多公司内部已经做了 IM,但没有音视频能力,而音视频的开发周期比较长,对人的要求也比较高,这就需要视频会议供应商去整合。但在整合过程中不能给用户提供太零散的 API 接口,要根据不同公司的层次去提供不同的 API。
在过去的十几年里,全时云只做了一件事:那就是帮助中国人更好地在网上开会,深入了解中国会议市场的需求,并从产品和技术层面匹配国内用户的喜好。
影响企业效率的鸿沟在哪里?很多人说是系统,其实系统的鸿沟很好解决,真正的鸿沟是人和系统、物体和系统之间的边界,如何打破边界,让信息更快、更好地传递,是全时云一直在思考的问题。
如何判断一款会议软件好用?
从产品层面:第一是使用方便,这是指会议软件可以适用于不同的会议场景,帮助用户解决开会的问题。会议软件的常用场景有:协作型的会议,比如项目讨论会、沟通会等;管控的会,比如领导讲话,或者是重要政策的会议;还有一些是对外的会议,比如用户将视频会议软件应用在他们的培训和面试过程中。
第二是平台稳定,取决于视频会议供应商的技术能力,比如高可用、稳定性、全球化,能否帮助用户就近接入一场会议里,并顺畅地将会议开完。
第三是音视频流畅和共享能力。在网络会议的沟通过程中,音频能力是沟通的基础,视频能力是很多技术和功能(比如桌面共享、会议录制)的基础,这就对厂商的音视频能力提出了很高的要求。
第四是电话会议和网络会议的融合。由于网络会议太依赖于网络质量,这点并不可控,所以需要及时切换到电话模式,保证会议顺畅。
第五是多终端。供应商在提供视频会议软件时,需要考虑用户的不同接入终端,需要兼容 Windows、macOS、Android、iOS 等多个操作系统,可以在 PC、手机、平板等多端使用,同时也能兼容专用的视频会议硬件产品。
除了站在使用者的角度,也要站在企业和管理者的角度去考量如何高效开会。管理者需要看到的是,通过视频会议软件可以帮助企业整体解决了什么问题,能不能提高工作效率。管理者要从会议软件的后台看到它的使用效果,因此会议软件的背后需要有一个强大的后台做支撑。除了管理账户之外,还要有数据分析的能力,即了解大家的使用效果如何,使用率怎么样,使用过程中有什么问题,怎么继续优化等。企业需要考虑成本,越是大的企业,越需要会议软件提供自动化的管理能力。
还有一点是数据安全。企业对于数据安全的要求很严格,需要保证其账号和会议数据不被外泄,甚至视频会议供应商也不知道,所以就需要提供一些 ADFS 的验证或者 OAuth 验证,帮助企业保障账户安全。
这次疫情带来的超大流量,让钉钉和微信都有些措手不及,更何况新加入视频会议市场的公司,由于技术能力还不成熟,在音视频体验上不尽人意。
企业微信延迟太过严重,“一个多小时了都没能进去视频会议功能”。一位用户在微博上 @企业微信官方并反映,“企业微信崩了…开了一会儿不断有人掉出会议进不来,重新建立完全死机…我以为就我这样,换别人建会议也是,消息收不到,语音拉不出…急的我浑身冒汗。”
钉钉也没顶住。不少用户提到,钉钉视频会议也出现了延迟、卡顿问题,IM 存在消息收不到、发不出,以及收到消息均显示未读等系统 Bug。钉钉客服在一则微博底下评论,目前视频会议流量过大,工程师正在紧急扩容中。
据全时云运维总监欧阳华介绍,全时云从大年初二开始决定提供免费版本,到初三上午评估了要扩容的机器数量,初三当天就完成了扩容。从初五开始,视频会议用户量不断攀升,到初七之后,每天的增幅能达到 50%。由于前期系统做足了扩容的准备,所以目前还没有出现大的问题。
Zoom 能做到风靡全球,其音视频能力不容小觑。同样,做远程会议起家的全时云,在系统架构的稳定性上也丝毫不敢懈怠。
2014 年以前是全时云架构的 1.0 阶段,大部分服务可以横向扩展,各个服务之间的通讯基于 Linux D-Bus,个别服务是单点。但这会导致三个比较棘手的痛点:一是高可用问题。比如单点崩溃了,怎么办?因为不是集群,所以必须把另外一个冷备的单点重新启动起来,这中间就会有一段时间的服务中断。
第二,因为 D-Bus 设计初衷就不适合传输大数据量,所以当数据量很大的时候,它会经常出现堵塞。
第三,当时信令数据都是通过 D-Bus 进行交互,比较复杂,容易引起信令风暴。
基于上述三个痛点,全时云在 2014-2016 年期间对系统架构进行了一次升级,2.0 阶段的一个核心改变是采用了 Redis。原来共享数据时,主要通过信令去同步,现在改成用 Redis 共享内存,信令减少,逻辑简化,进而把单点服务也进程化了,这样大大提高了 SLA。2.0 上线之后,可用度可以达到 99.99%。
架构 2.0 已经能够满足大部分的客户需求了,但是随着公司业务的拓展,又产生了更多的需求,比如一些企业会提出私有化部署、混合部署等。如果只在北京建数据中心,有可能华南的用户体验就不会很好。
于是在 2016 年,全时云开发了分布式系统,在全国主要的地区建立自己的数据中心,这样用户可以就近接入、智能接入。由于企业用户对数据的安全性要求比较高,但是又要求快速而简单,混合部署就是比较好的方式。以电网项目为例,通过混合部署,可以实现其所有信令由全时云来管理,但是文档、桌面共享、会议录制等信息完全保留在其内网里。这是全时 3.0 阶段主要在做的事情。
全时云系统架构 3.0
今年的“云办公”热潮,对于全时云也是一个挑战。目前主要应对措施是系统扩容,还不需要对架构做大的调整。
据了解,全时云这次面对的流量相比于 2019 年的峰值增加了 10 倍,由于前期做了很充足的技术积累,所以应对这次突增的流量,全时云的表现得到了肯定。用户还给陈学军发信息表示感谢:
再次感谢陈总的大力支持!全时是这次远程办公会议系统中反映最好的,口碑好过 Zoom 和腾讯会议。
图片来自陈学军的朋友圈和微信截图
会议系统能否在流量突增的情况下保持稳定,主要取决于系统的高可用。全时云建立了一个多云、多机房的灾备中心,在这个灾备中心里面有不同的数据节点接入。另外,在业务服务上线的时候,全时云有一个铁律,就是要支持弹性伸缩和熔断降级。这些措施有助于保证主干线的梳理和调用链的高可用,避免在大流量出现的时候系统宕掉。
为保证音视频质量,全时云在技术层面主要做了两方面优化:
一是分布式部署 + 智能接入。全时云在国内主要的地区都部署了自己的数据中心,这样既可以满足灾备需求,又可以通过全时云自有的智能接入算法使用户达到最优接入。分布式部署主要是建立了自己的数据中心,这些数据中心可以互相备份,比如北京数据中心断电了,杭州不会同时也断电了;杭州的数据中心如果网络出问题了,北京数据中心的网络不会同时也出问题。从会议数据量来看,省内会议数量要多于跨省区或跨国的会议,因此对于省内会议,需要实现就近接入。
二是流控。全时云流控系统可以实时探测到网络带宽、延时、抖动,并根据网络情况动态的调整编解码和发包策略。
之所以要做流控,主要是因为各个公司的 IT 水平不一样,网络状况不一样,很多传统公司还在用 XP 系统,网络很差,如何在较差的网络环境下还能正常开视频会议?主要抓住两个要点:一是会议体统要有网络探测能力,二是能根据探测到的网络去调整编码的能力、发包的策略。
在视频方面,全时云自研了 SVC(可分层编码)算法。针对不同的用户接入方式,可以个性化选择合适的视频编码。在未来的通信中,参与视频对话的终端多种多样,有专用的硬件视频终端,有桌面软终端,还有移动终端中的平板和手机。终端的多样性对视频码流的要求也不一样。如移动终端一般相对带宽较小,且屏幕尺寸也较小,屏幕宽高比也不同。每种终端希望拿到最适合自己的视频码流,既适合自己的网络带宽,又适合自己的硬件能力。如一种设备编码流出来后,其中既包含了高清到标清不同分辨率,又具有各种帧率。终端只需要发起申请,从其中拿到适合自己的码流,同时合理的利用的带宽和终端的硬件能力。这就是 SVC 要解决的问题
2019 年年初,Zoom 上市,对视频会议厂商而言是一个比较大的冲击。在中国,做大企业、政府(大 B 和 G)还是做中小企业市场(小 B),决定了视频会议的产品形态。当下视频会议头部厂商是阿里钉钉、腾讯微信、华为 WeLink、今日头条飞书,他们主要面向互联网用户,市场规模在 4000 亿美元左右;而全时云面向的是企业用户,尤其是大企业和传统企业,这个市场更庞大,举例来说,一个化工市场的规模在 8 万亿美元左右,一个电信市场的规模在 4 万亿美元。
当然,全时云也关注互联网用户,只是策略不同,先满足了一些大客户的要求,并树立了一些市场案例和行业口碑,再向互联网用户推广的时候,相对来说会比较容易,因为产品质量和口碑摆在那里。反之,则不尽然。
作为一个视频会议厂商,最核心的竞争力是音视频质量、系统的高可用、平台的易用性等,这些都是保障视频会议产品价值的根基,因此全时云的核心技术全部采用自主研发。国内有些厂商,基于美国的产品进行表层封装,这样虽然产品上线速度快,但是如果哪一天中美关系紧张,或者公司之间产生矛盾、发生客户上的竞争时,这些国内的厂商就会陷入困境。自研虽然慢一点,但是把基础打扎实,对于后面的局面更容易打开。
做会议相关的服务产品,如果要做到极致,在最开始的时候,就需要把客户的使用场景了解清楚,解决他们的痛点。
据全时云产品总监何思颖介绍,以入会方便为例,全时云采用了三种策略:
一是后台的调用链简化。看起来很简单的输入密码就可以入会,其实全时云在后台做了很多工作,包括账号认证、选择服务器、会议连接、业务接通等,通过业务链的合并,一次性获取所需的所有数据,简化流程。
二是各个模块之间并行。比如显示模块和接通模块要能够并行,不是接通了才显示,当这些模块并行之后,用户会有明显的感知。
三是预加载。预加载虽然会浪费一点资源,但是它会提供更好的用户体验。如果每一场会议都需要重新创建,从无到有,需要很长时间。但如果这场会议已经存在了,只需要激活就可以。那么启动会议的时间就从原来的 5 秒优化到 500 毫秒甚至更少的时间。
疫情期间,几乎所有的视频会议厂商都提供了大范围的免费策略,那么免费期结束,谁能真的留住用户?视频会议行业又会发生哪些明显的改变?
首先可以看到的是,随着疫情的结束,会有更多人习惯使用视频会议,市场和用户被空前的教育了。与此同时,视频会议的市场竞争也会更加激烈。这时就要比拼谁能更好地打造技术团队,不断优化产品,更好地服务客户。
其次,底层技术再次被重视。在疫情期间,各家公司普遍遇到了问题,如服务器宕机、音频卡顿、视频卡顿。所以未来那些可以脱颖而出的视频会议公司,一定是关注基础技术,如服务器稳定、高可用、易于扩展等。赵元军提到,他曾经面试过一个技术人,对方滔滔不绝地讲如何使用前沿技术,如人脸识别、大数据分析等,效果有多好,但是回归到根本性的底层技术,往往能力并不扎实。有太多公司声称掌握了最新、最前沿的技术,反而忽视了基本盘,最终都做不下去了。新技术的优势不言而喻,但是核心还是在于如何打好底层技术基础。
长久以来,远程医疗和远程教育都是视频会议行业的重要应用,但是受政策和各方面的影响,一直未能迎来爆发,这次疫情将进一步加剧远程医疗和远程教育的需求,推动两个行业应用的快速普及。
从 2015 年开始,全时云就在布局远程教育和远程医疗。今天的中国,人越来越为自己活着。随着远程视频医疗技术的成熟,医生也可以为自己工作了,这次疫情将加速互联网协调供需的能力,让远程医疗得到更长远的发展。
中国教育问题的本质是什么,还是供需的矛盾。有非常多的人渴望得到好的教育,但是老师的资源太少了。疫情之下,学校延迟开学时间,在线教育行业被推到风口,原本获客成本高、难度大的在线教育平台纷纷涌入了海量用户,连资本市场也对在线教育版块格外重视。但与流量红利不匹配的是,在线教育平台的 IT 基础设施短板明显,视频卡顿、宕机问题依然严重。如何真的留住用户,最好还是靠产品和技术能力说话。
未来,一切皆可远程。但如何搭上这班列车,还需各自努力。
全时 2020 年技术岗位招聘启动!点击「阅读原文」了解更多详情!热门行业、平台稳定、薪资可谈、福利健全、弹性工作,股权激励,发送简历至:jing.wang@quanshi.com。
今日话题:此次疫情中,你们的公司有受到影响么?有没有发生裁员或减薪的情况?你有没有考虑新的工作机会呢?你最看好哪个行业的发展?
欢迎在评论区留言,我们将在文章推送后的一周内,从留言中择优选择一位送出价值 200 元的盒马礼品卡。