Moloch - 开源大规模网络数据捕获数据分析系统

2018 年 4 月 4 日 黑客工具箱 c

工具介绍


moloch是一个开源的大规模全包捕获,索引和数据库系统。

moloch增强了您当前的安全基础架构,以标准pcap格式存储和索引网络流量,从而提供快速的索引访问。

为PCAP浏览,搜索和导出提供直观且简单的Web界面。

moloch公开了apis,允许pcap数据和json格式的会话数据直接下载和使用。

moloch以标准pcap格式存储和导出所有数据包,使您可以在分析工作流程中使用您最喜爱的pcap摄取工具,如wireshark。

通过使用带有摘要密码的https或使用提供Web服务器代理的身份验证来保护对moloch的访问。

所有pcap都存储在传感器上,只能使用moloch接口或api访问。

moloch并不是要取代id,而是与他们一起工作,以标准pcap格式存储和索引所有网络流量,从而提供快速访问。

moloch建立在多个系统之间,可以扩展到处理几十吉比特/秒的流量。

pcap保留时间基于可用的传感器磁盘空间。

元数据保留基于elasticsearch集群规模。

两者都可以在任何时候增加,并在您的完全控制之下。



使用方法



Sessions Tab

SPI View Tab

下载地址



https://github.com/aol/moloch

点击阅读原文可直接打开




登录查看更多
4

相关内容

数据分析是指用适当的统计方法对收集来的大量第一手资料和第二手资料进行分析,以求最大化地开发数据资料的功能,发挥数据的作用。
[ICML-Google]先宽后窄:对深度薄网络的有效训练
专知会员服务
34+阅读 · 2020年7月5日
【实用书】Python爬虫Web抓取数据,第二版,306页pdf
专知会员服务
117+阅读 · 2020年5月10日
【教程推荐】中科大刘淇教授-数据挖掘基础,刘 淇
专知会员服务
80+阅读 · 2020年3月4日
【大规模数据系统,552页ppt】Large-scale Data Systems
专知会员服务
60+阅读 · 2019年12月21日
携程用ClickHouse轻松玩转每天十亿级数据更新
DBAplus社群
11+阅读 · 2019年8月6日
已删除
将门创投
9+阅读 · 2018年12月19日
【泡泡图灵智库】数据高效利用的分布式视觉SLAM(ICRA)
泡泡机器人SLAM
7+阅读 · 2018年11月15日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
干货 :数据分析师的完整流程与知识结构体系
数据分析
8+阅读 · 2018年7月31日
基于 Storm 的实时数据处理方案
开源中国
4+阅读 · 2018年3月15日
15款免费预测分析软件!收藏好,别丢了!
七月在线实验室
10+阅读 · 2018年2月27日
28 款 GitHub 最流行的开源机器学习项目(附地址)
七月在线实验室
4+阅读 · 2017年12月18日
33款可用来抓数据的开源爬虫软件工具 (推荐收藏)
数据科学浅谈
7+阅读 · 2017年7月29日
Arxiv
110+阅读 · 2020年2月5日
Arxiv
35+阅读 · 2019年11月7日
A Comprehensive Survey on Transfer Learning
Arxiv
121+阅读 · 2019年11月7日
3D Face Modeling from Diverse Raw Scan Data
Arxiv
5+阅读 · 2019年2月13日
A Comprehensive Survey on Graph Neural Networks
Arxiv
21+阅读 · 2019年1月3日
Arxiv
12+阅读 · 2018年9月5日
VIP会员
相关资讯
携程用ClickHouse轻松玩转每天十亿级数据更新
DBAplus社群
11+阅读 · 2019年8月6日
已删除
将门创投
9+阅读 · 2018年12月19日
【泡泡图灵智库】数据高效利用的分布式视觉SLAM(ICRA)
泡泡机器人SLAM
7+阅读 · 2018年11月15日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
干货 :数据分析师的完整流程与知识结构体系
数据分析
8+阅读 · 2018年7月31日
基于 Storm 的实时数据处理方案
开源中国
4+阅读 · 2018年3月15日
15款免费预测分析软件!收藏好,别丢了!
七月在线实验室
10+阅读 · 2018年2月27日
28 款 GitHub 最流行的开源机器学习项目(附地址)
七月在线实验室
4+阅读 · 2017年12月18日
33款可用来抓数据的开源爬虫软件工具 (推荐收藏)
数据科学浅谈
7+阅读 · 2017年7月29日
相关论文
Arxiv
110+阅读 · 2020年2月5日
Arxiv
35+阅读 · 2019年11月7日
A Comprehensive Survey on Transfer Learning
Arxiv
121+阅读 · 2019年11月7日
3D Face Modeling from Diverse Raw Scan Data
Arxiv
5+阅读 · 2019年2月13日
A Comprehensive Survey on Graph Neural Networks
Arxiv
21+阅读 · 2019年1月3日
Arxiv
12+阅读 · 2018年9月5日
Top
微信扫码咨询专知VIP会员