干货 | 下一代数据网:数据驱动的云网链一体化(附视频和PPT)

2018 年 9 月 12 日 数据派THU


本讲座选自清华-青岛数据科学研究院大数据基础设施研究中心特聘研究员刘运渠9月5日在Odaily星球日报 X 36Kr P.O.D大会上所做的题为《下一代数据网:数据驱动的云网链一体化》的演讲。


以下为演讲视频,建议在wifi环境下观看


以下是演讲图文实录



刘运渠:数据驱动的云网链一体化,它潜在的商业场景,是把它作为一个基础设来提供。清华-青岛数据科学研究院是一个多学科的交叉融合,与数据确权和安全多方计算的核心技术,来建立的数据分享平台。它的目标是实现一个大数据自来水管道,做到一些资产服务和创新技术,最重要的目标是实现数据驱动

 

 

现有的三大核心技术云、网、链各自有一些缺点。数据协议方面,有数据孤岛的问题,成本和灵活性的问题及数据确权和效率的问题,这是清华大学下一代数据网络试图解决的问题,最主要的方法是通过区块链技术的研究和产业化方面来做一些动作。

 


刚刚讲了一些机构性的介绍,下面会深入到技术和产业细节里面去。


什么是这三大块融为一体化,这是一个很大的野心


我们能不能占一个万米的高空,看这三大技术的关系呢?我们看到机器学习的AI,它得益于大数据,同时它又为大数据提供了一个得力的工具。云计算,跟边缘计算、雾计算一起,在不同的场景,有不同的需求。对于云计算来讲,大的数据在需要计算力方面有一个弹性。当我需要算力的时候,我希望无穷大;当我不需要算力的时候,手机的CPU是闲着的,所以这是计算力共享的问题。


基础设施试图转向以数据为中心的场景,大家已经比较熟悉一些CDN、NDN、ICN、DCN,本质是把网络从比特流转向数据。我们认为未来的价值焦点,也就是从大数据视角来看,它不仅仅是数据隐私的问题,首先是数据的所有权。数据的隐私,首先数据是我的,你凭什么拿去用,拿去用有没有好处,这个好处是不是我应该得到。这才是我们认为下一阶段大数据的核心问题

 


从刚刚讲的大数据和网络视角下,我们再看区块链是什么情况。


  • 首先,我们认为区块链技术可能具有实现数据确权的潜力。这里引用一下谷歌董事长斯密特的说法,他认为区块链技术最大的价值,就是实现的数据的稀缺性,也就是不可以篡改和随便拷贝。为什么稀缺性很重要?因为他是董事长,他关心经济问题,没有稀缺性就没有经济价值。

  • 第二,我们认为区块链技术跟大数据的结合,可能会出现万亿级的商业。

  • 第三,区块链技术尚未具有支撑大数据的能力,这是我们下一代数据网要解决的核心难题。

  • 第四,区块链对于网络本身也提出了巨大挑战。区块链在技术上有三大块,一个是分布式共识,一个是加密,一个是基于P2P的广播。P2P的广播是广播的一种,是基于点对点实现的。广播对于网络来讲是很可怕的东西,因为N到N远远大于1到1的量。如果有一个网络可以支撑完美的通信的话,它需要什么呢?它需要网络的有效载荷即有效排列组合可以达到N的N次方,而普通网络只有达到N的阶层数字,这两个数字差距非常的大。我们认为网络是区块链规模应用的瓶颈之一,一方面它的商业价值备受关注,另一方面它的规模和实验,成为关注的焦点。

 

 

今天有很多嘉宾在规模方面讲得比较多,我集中精力讲一下时延的问题。


第一,关系型数据库系统是非常强悍的,它可以轻松达到千万次的TPS。现有的系统,不要上千万次,几千次都不是那么容易的事。成熟的系统需求也没有那么高,日常也就是2000次。没有必要在这块做无谓的追求,这方面我们赶不过关系型数据库。


第二,交易的时延和带宽是不一样的东西。比如我烤匹萨10个小时,同时烤了10块匹萨,我回头跟人说,10个小时烤了10个披萨,平均时间1小时。这里面是有误导的。时延就是说,到底烤一块匹萨多久,这对于实际应用很有价值。我们来看看它受到什么限制呢?一些是我们看得见的,就是代码里面可以看到,就是显示限制,比如交易尺寸、快、平均大小。当像中本聪这样世界级的设计者,他们设计的时候,是考虑后面的限制。算法现在的研究可以达到100毫秒以下,我们网络也做到100毫秒以下,1+1等于200毫秒,再给以3倍的安全系数,目标可以到600毫秒。由于广播的模型,会导致它的规模也不会很大,所以要解决这个问题,可能要通过一些分集,用联盟链的方法来处理。


 

下一代的数据网络,它可以支持高速、海量区块链吞吐。首先在广域里面部署一个服务,同时能够支持毫秒级、亚秒级的交易,能够实现规模化的区块链应用。为什么呢?因为我们在广播里面增加广播代理,不要每个人都去广播,这就是联盟链的观点。

 


这一块清华大学希望我们能够提供一些区块链设施、平台以及应用作为服务。而且区块链在阿尔山的基础区块链项目里面已经做了这样的场景。这是清华区块链现有的下一代数据网的设计方案及想要实现的目标。

 


后台回复“1898”获取本文视频和PPT


整理:刘安诺


登录查看更多
1

相关内容

通过采集数据(这里的数据必须满足大、全、细、时),将数据进行组织形成信息流,在做决策或者产品、运营等优化时,根据不同需求对信息流进行提炼总结,从而在数据的支撑下或者指导下进行科学的行动叫做数据驱动。
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
【CMU】深度学习模型中集成优化、约束和控制,33页ppt
专知会员服务
45+阅读 · 2020年5月23日
少标签数据学习,54页ppt
专知会员服务
197+阅读 · 2020年5月22日
【北京大学】面向5G的命名数据网络物联网研究综述
专知会员服务
36+阅读 · 2020年4月26日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
Python数据分析:过去、现在和未来,52页ppt
专知会员服务
99+阅读 · 2020年3月9日
【新加坡国立大学】深度学习时代数据库:挑战与机会
专知会员服务
33+阅读 · 2020年3月6日
【大数据白皮书 2019】中国信息通信研究院
专知会员服务
137+阅读 · 2019年12月12日
人工智能的现状与未来(附PPT)
人工智能学家
74+阅读 · 2019年3月27日
蚂蚁金服微服务实践(附演讲PPT)
开源中国
18+阅读 · 2018年12月21日
视频中的多目标跟踪【附PPT与视频资料】
人工智能前沿讲习班
30+阅读 · 2018年11月29日
【智能制造】智能制造的核心——智能决策
产业智能官
12+阅读 · 2018年4月11日
【人工智能】180页PPT,讲解人工智能技术与产业发展
Efficiently Embedding Dynamic Knowledge Graphs
Arxiv
14+阅读 · 2019年10月15日
Arxiv
6+阅读 · 2018年3月31日
Arxiv
3+阅读 · 2018年3月29日
VIP会员
相关VIP内容
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
【CMU】深度学习模型中集成优化、约束和控制,33页ppt
专知会员服务
45+阅读 · 2020年5月23日
少标签数据学习,54页ppt
专知会员服务
197+阅读 · 2020年5月22日
【北京大学】面向5G的命名数据网络物联网研究综述
专知会员服务
36+阅读 · 2020年4月26日
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
Python数据分析:过去、现在和未来,52页ppt
专知会员服务
99+阅读 · 2020年3月9日
【新加坡国立大学】深度学习时代数据库:挑战与机会
专知会员服务
33+阅读 · 2020年3月6日
【大数据白皮书 2019】中国信息通信研究院
专知会员服务
137+阅读 · 2019年12月12日
相关资讯
Top
微信扫码咨询专知VIP会员