大数据和云计算技术周报（第55期）

写在第55期

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

    

本期会给大家奉献上精彩的：HBase、Spark、推荐算法、ET农业大脑、Hive、缓存架构、数据安全、LVS、Nginx、HAProxy、Alluxio、MongoDB。全是干货，希望大家喜欢！！！

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学，在技术的道路上一定会日益精进！感谢编辑们的长期坚持！也请同学们继续打赏，支持社区，支持编辑们持续奉献高质量知识！

#大数据和云计算技术社区#长期招募有兴趣参与社区编辑和运营的同学，欢迎扫描文末二维码联系（参与社区工作，收获知识和进步，还有红包哦）。

特别提醒，文末有惊喜！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。

１

HBase

①任何系统都会有各种各样的问题，有些是系统本身设计问题，有些却是使用姿势问题。HBase也一样，在真实生产线上大家或多或少都会遇到很多问题，有些是HBase还需要完善的，有些是我们确实对它了解太少。总结起来，大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大。

https://www.cnblogs.com/yingjie2222/p/6084255.html

②本文介绍了Accordion的基本原理，配置，性能增益以及内存压缩算法的一些细节

https://mp.weixin.qq.com/s/QeVBS3RMUrLLCJJka-hFnA

③基于时间线一致的高可用读（Timeline-consistent High Available Reads），又称Region replica,为HBase带来了高可用读的能力。本文主要介绍region replica这个功能设计的背景，技术细节和使用方法，同时会仔细分析这个功能的优缺点并给出使用建议。

https://mp.weixin.qq.com/s/pEP3F6bwxbfkA-hRLfZDtQ

2

Spark

 

①Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉.

https://m.aliyun.com/yunqi/articles/598484

②本文主要为作者在搭建使用计算平台的过程中，对于 Spark 的理解，希望能给读者一些学习的思路

https://mp.weixin.qq.com/s/lGoQekpLgoJmPEnmWh4tXQ

3

推荐算法  

 

本文分别介绍了推荐系统、知识图谱、以及知识图谱在推荐系统中的应用价值。作为推荐算法的辅助信息，知识图谱的引入可以极大地提高推荐系统的精准性、多样性和可解释性。

https://mp.weixin.qq.com/s/X-TIUwVje_2JgY3QDkqVpQ

4

ET农业大脑  

 

阿里云发布ET农业大脑，已经将AI领域扩展到农业领域中。传统的农业也面临着AI大潮。

https://mp.weixin.qq.com/s/1cWKXLTGEftCQvwPX38OpA

5

Hive  

 

 本文介绍了Hive的基本概念、架构、运行机制、与传统数据库关系对比、下载安装与配置以及几个重要的DDL操作，用简洁的语言和丰富的图文形式向读者介绍了Hive的入门方法。

https://blog.csdn.net/qq_38344394/article/details/80604047

6

缓存架构  

 

微博日活跃用户1.6亿+，每日访问量达百亿级，面对庞大用户群的海量访问，良好的架构且不断改进的缓存体系具有非常重要的支撑作用。

https://mp.weixin.qq.com/s/YxGeisz0L9Ja2dwsiZz01w

7

数据安全  

 

本文从精准营销这一典型大数据应用场景剖析了大数据的数据安全和算法的应用

https://mp.weixin.qq.com/s/jTv9kWDKcCSGx6eFgZZYTA

8

LVS、Nginx、HAProxy  

 

VS、Nginx、HAProxy 是目前使用最广泛的三种软件负载均衡软件。这篇文章详细接受了这几种不同的负载均衡的方式。

https://mp.weixin.qq.com/s/bgRmPJRg-n2gpkrzvZgQWA

9

Alluxio  

 

Alluxio统一了底层不同存储系统，并对于深度学习框架提供如同本地文件夹一样的数据访问方式。利用Alluxio，数据科学家可以在不折中性能的情况之下，便捷地访问各种存底层储系统中的数据。

https://mp.weixin.qq.com/s/xx3pePUreizo0_boILt25g

10

MongoDB  

 

MongoDB的BSON存储格式的特性，BSON存储结构逻辑；Aggregation统计分析例子；ObjectId对象的结构。

https://www.jianshu.com/p/93781163bef4

011

开心一刻   

 

 一哥们跟媳妇离婚了，媳妇给了他一张纸条，上面写着：

145X154÷D2:1G

……………………………………………

这哥们花费了几年的时间，才整明白啥意思：

一事无成一无是处的二逼一个。

太TMD深奥了 没文化真可怕！

致谢：

魏宏斌、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉

猜你喜欢

#大数据和云计算机技术社区#博客精选（2017）

NoSQL 还是 SQL ？这一篇讲清楚

阿里的OceanBase解密

#大数据和云计算技术#: "四有"社区介绍

大数据和云计算技术周报（第52期）:NoSQL特辑

大数据和云计算技术周报（第51期）

新数仓系列：Hbase周边生态梳理（1）

《大数据架构详解》第2次修订说明

简单梳理跨数据中心数据库

云观察系列：漫谈运营商公有云发展史

云观察系列：百度云的一波三折

云观察系列：阿里云战略观察

超融合方案分析系列（7）思科超融合方案分析

加入技术讨论群

《大数据和云计算技术》社区群人数已经3000+，欢迎大家加下面助手微信，拉大家进群，自由交流。

喜欢QQ群的，可以扫描下面二维码：

欢迎大家通过二维码打赏支持技术社区（英雄请留名，社区感谢您，打赏次数超过108+）：