大数据和云计算技术周报（第25期）

写在第25期周报

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：HDFS权限管理、梯度下降方法、区块链、Shuffle、5大聚类算法、HiveServer2自定义权限认证、去中心化存储、移动边缘计算。全是干货，希望大家喜欢！！！

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学，在技术的道路上一定会日益精进！感谢编辑们的长期坚持！也请同学们继续打赏，支持社区，支持编辑们持续奉献高质量知识！

#大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学，欢迎扫描文末二维码联系（参与社区工作，收获知识和进步，还有红包哦）。

特别提醒，文末有惊喜！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。

1

HDFS权限管理

 权限控制一般分为鉴权哥授权两部分，鉴权用于鉴定用户身份，授权用于授予用户指定的权限。本文主要介绍了HDFS的授权体制和工作机制，希望对大家有所帮助。

http://mp.weixin.qq.com/s/JU2_evATIxFezz6z8UwmEw

2

梯度下降方法

 梯度下降算法为机器学习常用算法之一，本文很详细的阐述该算法的原理同时针对梯度进行了推导，有一定的参考意义

http://mp.weixin.qq.com/s/YIZaibnrAtQZBH4PbmFFPA

3

区块链

提到区块链，大家可能有很多疑问，比如:区块链是比特币吗？金融领域为什么要使用区块链技术？所有的区块链都需要挖矿吗？区块链和大数据什么关系？本文将详细的解答以上问题，希望大家有所帮助

https://yq.aliyun.com/articles/60134

 

4

去中心化存储

 尽管去中心化存储体现了区块链的一些重要特征，但我们仍要重新思考数据“在区块链上”的存储方式。随着交易量大增，区块链自身也必须想办法解决可扩展性问题。在区块链上存储大量数据，这样的想法似乎不太可行。

https://mp.weixin.qq.com/s/u9Q-dQSZVhXTpZ4sIdgfIQ

5

Shuffle

 本文对MapReduce Shuffle原理 与 Spark Shuffle原理分别进行详细的讲解,并对MapReduce和Spark的Shuffle过程进行对比和分析.

http://blog.csdn.net/u011239443/article/details/53365697

6

5大聚类算法

 本篇详细介绍了常用的聚类方法  并对各种聚类方法进行了对比 

http://mp.weixin.qq.com/s/bdCTNsMDukHk8kvSQcqAiA

7

HiveServer2自定义权限认证

 Hive 默认情况下通过 JDBC 连接 HiveServer2 不需要任何的权限认证。这意味着任何知道 ThriftServer 地址的人都可以势必威胁到我们的数据安全。基于此，本文介绍如何通过自定义的方式来对连接 ThriftServer 的人进行有效的权限验证。

https://www.iteblog.com/archives/2318.html

8

移动边缘计算

 移动边缘计算（MEC）技术将IT服务环境和云计算技术在网络边缘相结合，提高边缘网络的计算和存储能力，减少网络操作和服务交付时延，提升用户服务质量体验，因此受到了广泛关注，并且已经作为关键技术被纳入5G标准。

https://mp.weixin.qq.com/s/OCQNR5pcd6cvuApIkkUcSg

009

开心一刻

 

 

致谢：

薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、魏宏斌

猜你喜欢

#大数据和云计算机技术社区#博客精选（2017）

NoSQL 还是 SQL ？这一篇讲清楚

阿里的OceanBase解密

#大数据和云计算技术#: "四有"社区介绍

大数据和云计算技术周报（第24期）:NoSQL特辑

大数据和云计算技术周报（第23期）

新数仓系列：Hbase周边生态梳理（1）

《大数据架构详解》第2次修订说明

简单梳理跨数据中心数据库

云观察系列：漫谈运营商公有云发展史

云观察系列：百度云的一波三折

云观察系列：阿里云战略观察

超融合方案分析系列（7）思科超融合方案分析

加入技术讨论群

《大数据和云计算技术》社区群人数已经3000+，欢迎大家加下面助手微信，拉大家进群，自由交流。

喜欢钉钉扫码下面的群：

喜欢QQ群的，可以扫描下面二维码：

欢迎大家通过二维码打赏支持技术社区（英雄请留名，社区感谢您，打赏次数超过85+）：