华为最热门的开源项目推荐!

2017 年 10 月 12 日 程序猿
开源最前线(ID:OpenSourceTop) 猿妹 整编

链接:https://www.itcodemonkey.com/article/828.html


世界 500 强的华为,旗下设有华为开源软件能力中心。是基于华为开源战略新成立的部门。承担开源新技术扫描与规划、开源技术研究、开源开发方法探索、开源社区运营和开源能力构建及管理等相关工作。本期,就为大家整理了华为的开源项目:


1
HBase 二级索引 hindex

https://github.com/Huawei-Hadoop/hindex Stars 435


hindex 是华为公司开发的纯 Java 编写的 HBase 二级索引,兼容 Apache HBase 0.94.8。当前的特性如下:

● 多个表索引

● 多个列索引

● 基于部分列值的索引

● 使用索引扫描等于和范围条件

● 批量加载数据来索引表(索引完成批量加载)

工作原理如下:


2
华为物联网操作系统 LiteOS

https://github.com/Huawei/Huawei_LiteOS_Kernel Stars 372


Huawei LiteOS 是华为面向 IoT 领域,构建的"统一物联网操作系统和中间件软件平台",以轻量级(内核小于 10 k)、低功耗(1 节 5 号电池最多可以工作 5 年),快速启动,互联互通,安全等关键能力,为开发者提供 "一站式" 完整软件平台,有效降低开发门槛、缩短开发周期。 


Huawei LiteOS 目前主要应用于智能家居、穿戴式、车联网、智能抄表、工业互联网等 IoT 领域的智能硬件上。


3
流处理平台查询语言 StreamCQL

https://github.com/HuaweiBigData/StreamCQL Stars 320


StreamCQL 作为华为 FusionInsight 产品的重要组件,提供了在分布式流处理平台上的类SQL查询能力,包括窗口计算等高级特性,在开源之前已经在电信、金融等多个行业成功应用,简化开发工作量数倍。


在架构上,除了支持主流的流处理平台 Storm,它支持扩展到多种流处理引擎之上,如Flink。在功能上,StreamCQL 弥补了传统流处理平台上一些基本业务功能的缺失,除了过滤、转换等基本 SQL 能力之外, 还引入基于内存窗口的计算、统计、关联等能力,以及流数据的拆分、合并等功能。后期 StreamCQL 的发展方向包括:模式匹配、CQLServer(CQL远程提交,多语言接口,JDBC接口)、可靠性增强等。


4
Spark Streaming 数据挖掘 streamDM

https://github.com/huawei-noah/streamDM Stars277



streamDM,是由华为诺亚方舟实验室开源的使用 Spark Streaming 挖掘大数据的开源软件。Spark Streaming 是核心 Spark API 的一个扩展,它能让多个源的数据流处理成为可能。Spark 是一个可扩展可编程的框架,用于大规模分布式数据集(也称为弹性分布式数据集(RDD))处理。Spark Streaming 接收输入的数据流后将数据分批,再由 Spark 引擎处理,生成结果。Spark Streaming 数据被编成一个 DStreams 序列,内在地表示成一个 RDD 序列。


5
大数据存储解决方案 CarbonData

https://github.com/HuaweiBigData/carbondata Stars 209


CarbonData 是由华为开源贡献的大数据高效存储格式解决方案。针对当前大数据领域分析场景需求各异而导致的存储冗余问题,CarbonData 提供了一种新的融合数据存储方案,以一份数据同时支持“交互式分析、详单查询、任意维度组合的过滤查询等”多种大数据应用场景,并通过丰富的索引技术、字典编码、列存等特性提升了IO扫描和计算性能,实现百亿数据级秒级响应,与大数据生态 Apache Hadoop、Apache Spark 等无缝集成。


6
HBase 的 Spark SQL Astro

https://github.com/HuaweiBigData/astro Stars 198


华为 2015 年 7 月 20 日在 O'Reilly Open Source Convention (OSCON) 上宣布 Spark SQL on HBase package 正式开源。Spark SQL on HBase package 项目又名 Astro,端到端整合了 Spark,Spark SQL和HBase的能力,有助于推动帮助Spark进入NoSQL的广泛客户群,并提供强大的在线查询和分析以及在垂直企业大规模数据处理能力。当前的 Astro 1.0 依赖于 Spark 1.4.0,HBase 0.98。


7
多功能微服务框架 ServiceComb

https://github.com/ServiceComb/ServiceComb-Java-Chassis Stars 152


ServiceComb 是华为开源的一套包含代码框架生成,服务注册发现,负载均衡,服务可靠性(容错熔断,限流降级,调用链追踪)等功能的微服务框架。ServiceComb 包括应用框架代码生成,服务注册发现、服务配置管理、服务监控、服务调用追踪、多通信协议支持等功能,具有服务化契约增强、响应式编程范式及多语言 SDK 支持等优势特性。ServiceComb 基于开放的架构,不仅可以支持开发者根据自身业务需求定制业务插件,而且还兼容多种业界流行的微服务框架。


8
OpenFlow控制器 POFController

https://github.com/ProtocolObliviousForwarding/POFController



POFController 是由华为公司采用 BSD/ Apache 授权基于 Java 语言实现的 OpenFlow 控制器,提供了一个 GUI 管理界面,用于交换机的控制和配置。POF 主要包含控制器和交换机两个 原型文件,旨在提高OpenFlow的规范及支持无感知转发协议和数据包格式。


9
Cloud Foundry-Mesos

https://github.com/mesos/cloudfoundry-mesos Stars 98



Cloud Foundry-Mesos 框架由华为与 Mesosphere 的工程师合作完成,能够为应用提供安全可靠的、可伸缩、可扩展的云端运行环境,并且应用能够享用 Cloud Foundry 生态圈内各类丰富的服务资源。企业能够通过 Cloud Foundry 开发云应用,并通过 Cloud Foundry-Mesos 将应用部署到 DCOS上,使应用能够与 DCOS 上安装的其他服务及应用框架共享资源,实现资源利用率最大化,能够大幅降低企业数据中心运营成本。DCOS 能够运行在虚拟和物理环境上,能够支持 Linux(以及很快支持 Windows),并可适用于私有云、公有云及混合云环境。



●本文编号2670,以后想阅读这篇文章直接输入2670即可

●输入m获取文章目录



登录查看更多
0

相关内容

HBase 全称是 Hadoop Database,是开源的高可靠性、高性能、可伸缩的分布式数据库系统,利用 HBase 技术建立大规模结构化存储集群。
华为发布《自动驾驶网络解决方案白皮书》
专知会员服务
125+阅读 · 2020年5月22日
斯坦福2020硬课《分布式算法与优化》
专知会员服务
118+阅读 · 2020年5月6日
专知会员服务
109+阅读 · 2020年3月12日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
95+阅读 · 2019年12月4日
【电子书推荐】Data Science with Python and Dask
专知会员服务
43+阅读 · 2019年6月1日
Github六个知识图谱实战项目推荐
专知
382+阅读 · 2019年6月2日
2018年8月份GitHub上最热门的开源项目
算法与数据结构
3+阅读 · 2018年9月4日
6月份最热门的机器学习开源项目Top10
AI前线
8+阅读 · 2018年7月3日
2018 年 2 月份 GitHub 上最热门的开源项目
算法与数据结构
5+阅读 · 2018年3月10日
精选Top30!最实用的python开源项目都在这里
乌镇智库
4+阅读 · 2018年1月26日
GitHub上12月份最热门开源项目
程序猿
4+阅读 · 2018年1月9日
28 款 GitHub 最流行的开源机器学习项目(附地址)
七月在线实验室
4+阅读 · 2017年12月18日
推荐|Google最热门31款开源项目资源
全球人工智能
4+阅读 · 2017年11月24日
开源巨献:阿里巴巴最热门29款开源项目
算法与数据结构
5+阅读 · 2017年7月14日
开源巨献:Google最热门60款开源项目
程序猿
5+阅读 · 2017年7月12日
Arxiv
9+阅读 · 2019年4月19日
Adversarial Metric Attack for Person Re-identification
Arxiv
3+阅读 · 2012年11月20日
VIP会员
相关VIP内容
相关资讯
Github六个知识图谱实战项目推荐
专知
382+阅读 · 2019年6月2日
2018年8月份GitHub上最热门的开源项目
算法与数据结构
3+阅读 · 2018年9月4日
6月份最热门的机器学习开源项目Top10
AI前线
8+阅读 · 2018年7月3日
2018 年 2 月份 GitHub 上最热门的开源项目
算法与数据结构
5+阅读 · 2018年3月10日
精选Top30!最实用的python开源项目都在这里
乌镇智库
4+阅读 · 2018年1月26日
GitHub上12月份最热门开源项目
程序猿
4+阅读 · 2018年1月9日
28 款 GitHub 最流行的开源机器学习项目(附地址)
七月在线实验室
4+阅读 · 2017年12月18日
推荐|Google最热门31款开源项目资源
全球人工智能
4+阅读 · 2017年11月24日
开源巨献:阿里巴巴最热门29款开源项目
算法与数据结构
5+阅读 · 2017年7月14日
开源巨献:Google最热门60款开源项目
程序猿
5+阅读 · 2017年7月12日
Top
微信扫码咨询专知VIP会员