云​大数据和计算技术周报(第43期)

2018 年 4 月 30 日 大数据和云计算技术 社区编辑部
写在第43期
“大数据” 三个字其实是个marketing语言,从技术角度看,包含范围很广,计算、存储、网络都涉及,知识点广、学习难度高。


本期会给大家奉献上精彩的:大数据处理过程与模式、卷积神经网络、Apache Flink、Kylin的Cube、HBase、列式存储。全是干货,希望大家喜欢!!!


#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学,在技术的道路上一定会日益精进!感谢编辑们的长期坚持!也请同学们继续打赏,支持社区,支持编辑们持续奉献高质量知识!


#大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学,欢迎扫描文末二维码联系(参与社区工作,收获知识和进步,还有红包哦)。


特别提醒,文末有惊喜!


以下是正文,限于众编辑水平有限,不保证大家都喜欢。

大数据处理过程与模式

在当前这个数据爆炸的时代,随着ICT技术的不断发展和进步,大数据已经不简简单单是数据量大,而是对大量数据的分析,只有通过分析才能获取更多智能的、深入的、有价值的信息。

https://mp.weixin.qq.com/s/_a2WJWg2ZizMNwOZI91UHQ

卷积神经网络

CNN(卷积神经网络)算法的核心其实还是BP(误差反向传播)算法,不同传统BP各层直接大多采用全连接,CNN一般有输入层,卷积层,激励函数,池化层,全连接层。理论上这些层可以组合,例如可以有多个池化或者全连接等。这篇文章讲清楚了基本的算法原理,值得一看。我用MNIST数据集做过实验,基本上对手写数字的识别可以达到98.5%以上,识别不对的基本肉眼也可能会出错。至于CNN为什么这么厉害,讲真,我还没有搞清楚,但是它就是这么厉害。

https://mp.weixin.qq.com/s/3DmZ19FJvsKVcknepfN2_w

3
Apache Flink

本文将深入分析Flink的一些关键技术与特性,希望能够帮助读者对Flink有更加深入的了解,对其他大数据系统开发者也能有所裨益。

https://mp.weixin.qq.com/s/ppuRyUylRi6UvIiXNg5-DA

4
Kylin的Cube

在众多SQL On Hadoop的解决方案中,Kylin采用了Cube的思路来加速多维分析型查询,Cube是传统数据仓库常用的一种技术,本文简单讨论Kylin多维分析的原理以及Kylin的缺点。

https://mp.weixin.qq.com/s/Wz4ggtO-gTEziBA19dfhcw

5
HBase

本文首先介绍了HBase 与传统关系数据库的区别,接着从功能模块以及内部架构方面介绍了HBase运行机制,最后告诉我们HBase实际应用场景以及如何通过Phoenix实现对HBase的SQL查询,深入浅出地透析了HBase内部之美。

https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-bigdata-hbase/index.html

6
列式存储

列式存储的优势一方面体现在存储上能节约空间、减少 IO,另一方面依靠列式数据结构做了计算上的优化。本文将着重介绍列式存储的数据组织方式,包括数据的布局、编码、压缩等。

https://mp.weixin.qq.com/s/AazI239iJfIKKV6BppTblw

007
开心一刻

中国建设银行(CBC):"存不存?"

中国银行(BC):" 不存!"

中国农业银行(ABC):"啊?不存?"

中国工商银行(ICBC):"爱存不存!"

民生银行(CMSB):"存嘛,傻B! "

招行银行(CMBC):"存嘛,白痴 !"

国家开发银行(CDB):"存点吧!”

兴业银行(CIB):"存一百!"

北京市商业银行(BCCB):"白存,存不?"

汇丰银行(HSBC):"还是不存!”

邮储银行(PSBC):怕死别存!

亲,你在哪家存?

致谢:

魏宏斌、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉



猜你喜欢




#大数据和云计算机技术社区#博客精选(2017)

NoSQL 还是 SQL ?这一篇讲清楚

阿里的OceanBase解密

#大数据和云计算技术#: "四有"社区介绍

大数据和云计算技术周报(第42期):NoSQL特辑

大数据和云计算技术周报(第41期)

新数仓系列:Hbase周边生态梳理(1)

《大数据架构详解》第2次修订说明

简单梳理跨数据中心数据库

云观察系列:漫谈运营商公有云发展史

云观察系列:百度云的一波三折

云观察系列:阿里云战略观察

超融合方案分析系列(7)思科超融合方案分析

加入技术讨论群




《大数据和云计算技术》社区群人数已经3000+,欢迎大家加下面助手微信,拉大家进群,自由交流。


喜欢QQ群的,可以扫描下面二维码:

欢迎大家通过二维码打赏支持技术社区(英雄请留名,社区感谢您,打赏次数超过108+):








登录查看更多
0

相关内容

HBase 全称是 Hadoop Database,是开源的高可靠性、高性能、可伸缩的分布式数据库系统,利用 HBase 技术建立大规模结构化存储集群。
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
Python导论,476页pdf,现代Python计算
专知会员服务
260+阅读 · 2020年5月17日
专知会员服务
124+阅读 · 2020年3月26日
【电子书】大数据挖掘,Mining of Massive Datasets,附513页PDF
专知会员服务
104+阅读 · 2020年3月22日
【资源】100+本免费数据科学书
专知会员服务
107+阅读 · 2020年3月17日
【大数据白皮书 2019】中国信息通信研究院
专知会员服务
137+阅读 · 2019年12月12日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
95+阅读 · 2019年12月4日
【书籍】深度学习框架:PyTorch入门与实践(附代码)
专知会员服务
164+阅读 · 2019年10月28日
深度学习算法与架构回顾
专知会员服务
81+阅读 · 2019年10月20日
40张PPT,帮你轻松入门Spark大数据!BAT架构师制作!
七月在线实验室
19+阅读 · 2019年5月27日
《大数据架构详解:从数据获取到深度学习》第⑨次重印
大数据和云计算技术
3+阅读 · 2018年3月3日
【年终重磅福利来啦】1024T大数据编程资料免费领(含源码)
大数据和云计算技术
4+阅读 · 2017年12月29日
《大数据架构详解:从数据获取到深度学习》第八次重印
大数据和云计算技术
5+阅读 · 2017年12月24日
一位数据分析师的书单
R语言中文社区
12+阅读 · 2017年10月28日
荐号|10个优质的大数据、人工智能公众号
待字闺中
5+阅读 · 2017年10月25日
通往技术大牛之路必备的11个优质技术公众号!
量化投资与机器学习
8+阅读 · 2017年9月23日
Arxiv
20+阅读 · 2019年11月23日
Efficiently Embedding Dynamic Knowledge Graphs
Arxiv
14+阅读 · 2019年10月15日
The Matrix Calculus You Need For Deep Learning
Arxiv
12+阅读 · 2018年7月2日
Arxiv
6+阅读 · 2018年2月8日
VIP会员
相关VIP内容
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
Python导论,476页pdf,现代Python计算
专知会员服务
260+阅读 · 2020年5月17日
专知会员服务
124+阅读 · 2020年3月26日
【电子书】大数据挖掘,Mining of Massive Datasets,附513页PDF
专知会员服务
104+阅读 · 2020年3月22日
【资源】100+本免费数据科学书
专知会员服务
107+阅读 · 2020年3月17日
【大数据白皮书 2019】中国信息通信研究院
专知会员服务
137+阅读 · 2019年12月12日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
95+阅读 · 2019年12月4日
【书籍】深度学习框架:PyTorch入门与实践(附代码)
专知会员服务
164+阅读 · 2019年10月28日
深度学习算法与架构回顾
专知会员服务
81+阅读 · 2019年10月20日
相关资讯
40张PPT,帮你轻松入门Spark大数据!BAT架构师制作!
七月在线实验室
19+阅读 · 2019年5月27日
《大数据架构详解:从数据获取到深度学习》第⑨次重印
大数据和云计算技术
3+阅读 · 2018年3月3日
【年终重磅福利来啦】1024T大数据编程资料免费领(含源码)
大数据和云计算技术
4+阅读 · 2017年12月29日
《大数据架构详解:从数据获取到深度学习》第八次重印
大数据和云计算技术
5+阅读 · 2017年12月24日
一位数据分析师的书单
R语言中文社区
12+阅读 · 2017年10月28日
荐号|10个优质的大数据、人工智能公众号
待字闺中
5+阅读 · 2017年10月25日
通往技术大牛之路必备的11个优质技术公众号!
量化投资与机器学习
8+阅读 · 2017年9月23日
Top
微信扫码咨询专知VIP会员