华为开源项目推荐

2017 年 9 月 4 日 开源中国 开源中国

点击图片参与开源中国九周年狂欢,机械键盘等你拿!!


华为物联网操作系统 LiteOS

https://www.oschina.net/p/liteos

Huawei LiteOS 是华为面向IoT领域,构建的"统一物联网操作系统和中间件软件平台",以轻量级(内核小于10k)、低功耗(1节5号电池最多可以工作5年),快速启动,互联互通,安全等关键能力,为开发者提供 "一站式" 完整软件平台,有效降低开发门槛、缩短开发周期。 

Huawei LiteOS 目前主要应用于智能家居、穿戴式、车联网、智能抄表、工业互联网等 IoT 领域的智能硬件上。



Hadoop 原生文件格式 Apache CarbonData

https://www.oschina.net/p/carbondata

CarbonData 是一个为了更快的交互查询而生的新的Hadoop原生文件格式,用于大数据的快速分析和多维度查询hadoop本地数据存储设计。

在客户基准上,CarbonData已经展示出管理运行在非常低成本的硬件上的PB级别的数据,并且比目前的开源解决方案快了近10倍。



多功能微服务框架 ServiceComb

https://www.oschina.net/p/servicecomb

ServiceComb 是华为开源的一套包含代码框架生成,服务注册发现,负载均衡,服务可靠性(容错熔断,限流降级,调用链追踪)等功能的微服务框架。

ServiceComb 是华为 FusionCloud 解决方案中 PaaS 平台的重要组成部分,内置了高可靠性运行、动态治理等运维阶段的高级能力。ServiceComb 目前已应用于华为自身 IT 的多个核心业务,帮助华为极大地提升了云原生应用的开发效率。

ServiceComb 包括应用框架代码生成,服务注册发现、服务配置管理、服务监控、服务调用追踪、多通信协议支持等功能,具有服务化契约增强、响应式编程范式及多语言 SDK 支持等优势特性。ServiceComb 基于开放的架构,不仅可以支持开发者根据自身业务需求定制业务插件,而且还兼容多种业界流行的微服务框架。



HBase 二级索引 hindex

https://www.oschina.net/p/hindex

hindex 是华为公司开发的纯 Java 编写的 HBase 二级索引,兼容 Apache HBase 0.94.8。

当前的特性如下:

  • 多个表索引

  • 多个列索引

  • 基于部分列值的索引

  • 使用索引扫描等于和范围条件

  • 批量加载数据来索引表(索引完成批量加载)


HBase 的 Spark SQL Astro

https://www.oschina.net/p/huawei-astro

华为2015年7月20日在O'Reilly Open Source Convention (OSCON) 上宣布Spark SQL on HBase package正式开源。Spark SQL on HBase package 项目又名 Astro,端到端整合了 Spark,Spark SQL和HBase的能力,有助于推动帮助Spark进入NoSQL的广泛客户群,并提供强大的在线查询和分析以及在垂直企业大规模数据处理能力。

Apache HBase 是数据在 HDFS 上的 Key-Value 存储。它用来给 Google 的 Big Table 建模,并提供了 API 用于查询数据。这些数据通过它的“row keys”来组织、区分和发布。在每个分区上,数据被指定的“列”数据集合“列族”物理分区。这些数据模型是宽且零散的,在这些表中列是动态的,零散的。

尽管 HBase 是非常有用的大数据存储,但是它的访问机制非常原始,只能通过客户端的 API,Map/Reduce 接口和交互的 shell。SQL 访问 HBase 数据可通过 Map/Reduce 或者接口机制,如 Apache Hive 和 Impala,或者一些“本地的” SQL 技术,如 Apache Phoenix。前者实现和使用起来通常比较便宜,它们的延迟和效率通常不如后者,并且只适用于离线分析。后者,与之相反,通常执行得更好,并且限定多个作为联机引擎。它们通常在特定的执行引擎的顶层。


开放容器测试框架 oct

https://www.oschina.net/p/oct

oct 是用于开放容器的测试用例和框架,用 Go 语言开发。

ocp-testing 项目的目标是,通过提供全局测试框架给所有的容器项目,来提高开放容器项目。测试包括,ocp 规范,容器功能和容器性能。


用于 Spark Streaming 的数据挖掘 streamDM

https://www.oschina.net/p/stream-dm

streamDM,是由华为诺亚方舟实验室开源的使用 Spark Streaming 挖掘大数据的开源软件。

大数据流学习

大数据流学习(Big Data stream learning)比批量或离线学习更富有挑战性,因为数据在流动的过程中不太可能保持同一种分布。而且,数据流中的每一个样本只能被处理一次,否则它们就需要占用内存进行总结,同时该学习算法也必须非常高效。

Spark Streaming

Spark Streaming 是核心 Spark API 的一个扩展,它能让多个源的数据流处理成为可能。Spark 是一个可扩展可编程的框架,用于大规模分布式数据集(也称为弹性分布式数据集(RDD))处理。Spark Streaming 接收输入的数据流后将数据分批,再由 Spark 引擎处理,生成结果。

Spark Streaming 数据被编成一个 DStreams 序列,内在地表示成一个 RDD 序列。


流处理平台查询语言 StreamCQL

https://www.oschina.net/p/streamcql

StreamCQL作为华为FusionInsight产品的重要组件,提供了在分布式流处理平台上的类SQL查询能力,包括窗口计算等高级特性,在开源之前已经在电信、金融等多个行业成功应用,简化开发工作量数倍。此次StreamCQL的开源可以看做是华为FusionInsight产品对大数据开源的积极拥抱,目的是让更多的社区开发爱好者、包括华为合作方、认证伙伴加入到项目的开源贡献和应用中,以更好的开源项目和产品来服务客户,发展社区。        

StreamCQL是一个类SQL的声明式语言,它用于在流(streams)和可更新关系(updatable relation)上的可持续查询,目的是在流处理平台分布式计算能力之上,通过使用简易通用的类SQL语言,使得业务逻辑的开发变得统一和简易。在架构上,除了支持主流的流处理平台Storm,它支持扩展到多种流处理引擎之上,如Flink。在功能上,StreamCQL弥补了传统流处理平台上一些基本业务功能的缺失,除了过滤、转换等基本SQL能力之外, 还引入基于内存窗口的计算、统计、关联等能力,以及流数据的拆分、合并等功能。后期StreamCQL的发展方向包括:模式匹配、CQLServer(CQL远程提交,多语言接口,JDBC接口)、可靠性增强等。


ARM 开放平台规范 96Boards

https://www.oschina.net/p/96boards

96Boards 是 ARM 开放平台规范,是第一个定义 Cortex-A 开发板的开放规范,Cortex-A 是 ARM SoC 供应商提供的低耗能,小脚本 32 位和 64 位开发板。标准化扩展 Peripheral I/O 总线,显示和相机,允许硬件生态系统开发一系列兼容组件的产品,在其生命周期可以在任意兼容 96Boards 的平台上使用。


OSC 九周年庆典,机械键盘等你来拿!!

8 月 31 日 - 9 月 8 日

活动期间(8 月 31 日 - 9 月 8 日)在《我们九岁啦!开源中国年度事件大盘点》文章评论区围绕“开源中国九周年”为话题进行留言,点赞数最多的用户将获得我们送出的终极大礼 —— 星兹 KOZMOZ 机械键盘!!第二、三名也将获得我们送出的九周年专属大礼包一份哦。



推荐阅读

超好用的 Linux 桌面个性化工具推荐

30 年编码经验浓缩的 10 条最佳实践

Spring 思维导图,让 Spring 不再难懂(cache篇)

GitHub 上最火的开源项目 —— Java 篇

点击“阅读原文”查看更多精彩内容

登录查看更多
0

相关内容

HBase 全称是 Hadoop Database,是开源的高可靠性、高性能、可伸缩的分布式数据库系统,利用 HBase 技术建立大规模结构化存储集群。
华为发布《自动驾驶网络解决方案白皮书》
专知会员服务
125+阅读 · 2020年5月22日
【Manning新书】现代Java实战,592页pdf
专知会员服务
99+阅读 · 2020年5月22日
【实用书】Python技术手册,第三版767页pdf
专知会员服务
234+阅读 · 2020年5月21日
专知会员服务
109+阅读 · 2020年3月12日
【大规模数据系统,552页ppt】Large-scale Data Systems
专知会员服务
60+阅读 · 2019年12月21日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
95+阅读 · 2019年12月4日
近期值得关注的8款AI开源项目 | 本周Github精选
PaperWeekly
4+阅读 · 2018年8月3日
准确实用,7个优秀的开源中文分词库推荐
开源中国
5+阅读 · 2018年7月26日
15000个开源项目中挑选Top 12,第一就是……
七月在线实验室
8+阅读 · 2018年1月17日
各厂推荐算法!
程序猿
17+阅读 · 2018年1月13日
GitHub上12月份最热门开源项目
程序猿
4+阅读 · 2018年1月9日
推荐|Google最热门31款开源项目资源
全球人工智能
4+阅读 · 2017年11月24日
开源巨献:阿里巴巴最热门29款开源项目
算法与数据结构
5+阅读 · 2017年7月14日
开源巨献:Google最热门60款开源项目
程序猿
5+阅读 · 2017年7月12日
推荐|LibRec:一个覆盖70多种算法的推荐系统开源库!
全球人工智能
5+阅读 · 2017年7月11日
Arxiv
14+阅读 · 2018年4月18日
Arxiv
12+阅读 · 2018年1月28日
VIP会员
相关VIP内容
华为发布《自动驾驶网络解决方案白皮书》
专知会员服务
125+阅读 · 2020年5月22日
【Manning新书】现代Java实战,592页pdf
专知会员服务
99+阅读 · 2020年5月22日
【实用书】Python技术手册,第三版767页pdf
专知会员服务
234+阅读 · 2020年5月21日
专知会员服务
109+阅读 · 2020年3月12日
【大规模数据系统,552页ppt】Large-scale Data Systems
专知会员服务
60+阅读 · 2019年12月21日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
95+阅读 · 2019年12月4日
相关资讯
近期值得关注的8款AI开源项目 | 本周Github精选
PaperWeekly
4+阅读 · 2018年8月3日
准确实用,7个优秀的开源中文分词库推荐
开源中国
5+阅读 · 2018年7月26日
15000个开源项目中挑选Top 12,第一就是……
七月在线实验室
8+阅读 · 2018年1月17日
各厂推荐算法!
程序猿
17+阅读 · 2018年1月13日
GitHub上12月份最热门开源项目
程序猿
4+阅读 · 2018年1月9日
推荐|Google最热门31款开源项目资源
全球人工智能
4+阅读 · 2017年11月24日
开源巨献:阿里巴巴最热门29款开源项目
算法与数据结构
5+阅读 · 2017年7月14日
开源巨献:Google最热门60款开源项目
程序猿
5+阅读 · 2017年7月12日
推荐|LibRec:一个覆盖70多种算法的推荐系统开源库!
全球人工智能
5+阅读 · 2017年7月11日
Top
微信扫码咨询专知VIP会员