在2017/2018学年,我介绍了didactic cycle。我一直在做一个新的讲座:大数据工程(正式名称:大数据处理工程)。你可能会问:为什么不简单地用“大数据”呢?工程学术语真的有必要吗?我认为大数据与“经典”数据集有很大不同。你应该考虑它的方式与你过去处理的数据不同。如果你能应用你熟悉的日常技术,就没有必要谈论不同类型的数据;你仍然只考虑数据。前缀“big”表示你处理的数据不再是“典型”数据。如果不典型,为什么要使用典型的技术来处理它?这就是重点。大数据作为一种数据类型,需要不同的程序来处理它们。所有实际的方面都是不同的。你可能会说大数据处理工程是不同的。这就是为什么这个tile是大数据处理工程。我不想再写一本关于大数据的书,你可以(再次)找到别人已经在某处提供的相同信息。每个人都在谈论大数据,但没有人谈论大数据工程。没有人会说你感知这类数据的方式一定不同。你可以找到大量的大数据博客,以及人们解决问题的例子,这些问题可能使用老式的数据处理方法可以解决。这不是大数据。在本书中,我将说服你,对于大数据,你必须改变思考数据的方式。如果你觉得不必这样做,说明你的数据量不大。最多有很多数据,但不是大数据。

成为VIP会员查看完整内容
62

相关内容

从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。
【硬核书】数据科学,282页pdf
专知会员服务
89+阅读 · 2022年11月29日
【干货书】优化算法,232页pdf
专知会员服务
190+阅读 · 2022年9月8日
专知会员服务
236+阅读 · 2021年10月8日
专知会员服务
143+阅读 · 2021年9月16日
【干货书】知识图谱与大数据处理,212页pdf
专知会员服务
118+阅读 · 2021年2月2日
【2020干货书】Python3基础导论介绍,98页pdf
专知会员服务
99+阅读 · 2020年10月11日
【实用书】Python编程,140页pdf
专知会员服务
41+阅读 · 2020年8月20日
【干货书】Python 编程,480页pdf
专知会员服务
228+阅读 · 2020年8月14日
【实用书】Python机器学习Scikit-Learn应用指南,247页pdf
专知会员服务
255+阅读 · 2020年6月10日
干净的数据:数据清洗入门与实践,204页pdf
专知会员服务
160+阅读 · 2020年5月14日
【硬核书】数据科学,282页pdf
专知
20+阅读 · 2022年11月29日
【干货书】高维统计概论,361页pdf
专知
6+阅读 · 2022年10月29日
【干货书】优化算法,232页pdf
专知
21+阅读 · 2022年9月8日
Kaggle入门手册
Datartisan数据工匠
14+阅读 · 2017年11月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年6月6日
Arxiv
0+阅读 · 2023年6月5日
Arxiv
0+阅读 · 2023年6月4日
Arxiv
0+阅读 · 2023年6月2日
Arxiv
87+阅读 · 2021年5月17日
Arxiv
11+阅读 · 2018年5月13日
VIP会员
相关VIP内容
【硬核书】数据科学,282页pdf
专知会员服务
89+阅读 · 2022年11月29日
【干货书】优化算法,232页pdf
专知会员服务
190+阅读 · 2022年9月8日
专知会员服务
236+阅读 · 2021年10月8日
专知会员服务
143+阅读 · 2021年9月16日
【干货书】知识图谱与大数据处理,212页pdf
专知会员服务
118+阅读 · 2021年2月2日
【2020干货书】Python3基础导论介绍,98页pdf
专知会员服务
99+阅读 · 2020年10月11日
【实用书】Python编程,140页pdf
专知会员服务
41+阅读 · 2020年8月20日
【干货书】Python 编程,480页pdf
专知会员服务
228+阅读 · 2020年8月14日
【实用书】Python机器学习Scikit-Learn应用指南,247页pdf
专知会员服务
255+阅读 · 2020年6月10日
干净的数据:数据清洗入门与实践,204页pdf
专知会员服务
160+阅读 · 2020年5月14日
相关资讯
【硬核书】数据科学,282页pdf
专知
20+阅读 · 2022年11月29日
【干货书】高维统计概论,361页pdf
专知
6+阅读 · 2022年10月29日
【干货书】优化算法,232页pdf
专知
21+阅读 · 2022年9月8日
Kaggle入门手册
Datartisan数据工匠
14+阅读 · 2017年11月9日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员