为了每天处理1TB日志数据,江苏农信在智能平台上下足了功夫

2018 年 11 月 21 日 IBM中国

传统的IT 运维工程师,除了每天扮演救火员的种角色,还要随时做好加班准备,与繁多的日志数据及各种运维难题“斗智斗勇”。随着AI技术在金融应用带来的无限可能,在江苏农信,这群工程师也打起了智能运维的主意。


近日,IBM宣布完成江苏省农村信用社联合社(简称“江苏农信”)智能运维大数据平台的一期建设,为江苏农信的系统、网络、交易、安全、作业分析等部门提供统一的大数据平台服务,构建统一的实时日志检索与统计门户,实现端对端交易生命周期管理;同时整合数据提升问题定位与处理效率,促进IT的业务价值提升,为企业创新奠定基础。

江苏农信是全国农村信用社首家改革试点单位,由江苏省62家农村商业银行组合而成。作为行业内第一家采用IBM System z大型机作为核心业务系统支持平台的农信金融机构系统,江苏农信的存、贷款总量分列全国同业排名第2位和第1位。由于服务对象是省内数百万中小企业及农村用户,江苏农信呈现网点多、分布散、小客户的业务量大、经常出现用户集中存取款等极端情况。企业IT系统性能面临巨大压力,每天需要处理的应用日志数据量多达 1TB,每分钟更新的文件数量最高可达5,800个且文件分布在不同的文件夹。同时,辖内54家商业银行都有各自的IT系统、柜面系统、ATM机等,各种系统多达两三百个,运营管理异常复杂,数据无法进行集中统计和分析。


江苏农信自2002年建立初始起就与IBM合作,在2017年10月正式立项开始建设智能运营大数据平台,目前已完成一期的建设。一期平台以100%兼容现有业务系统的技术将数百个系统中的数据全部采集上来,进行统一的分析和处理。

  • 统一的平台改变了传统的日志查询方式,大大提高应用运维的效率,应用维护人员可以根据自身问题分析的需要方便灵活地结合检索、过滤、统计等手段快速定位问题,也可帮助他们腾出更多精力进行创新性的工作;


  • 搭建的实时大数据处理架构与流程融合有效性和先进性,在保障关键组件的高可用的同时,能够提供实时数据处理能力,不断从日志中挖掘更多的业务价值,可以为企业提供很多洞见,帮助企业进行业务创新。


  • 整个运维大数据平台是基于私有云而建设,具有扩容方便、灵活、高效等特点,这一点已经得到验证 —— 一期平台建设过程中进行了4次扩容滚动升级后,大数据应用的运行始终未受到影响。


▶▶ 江苏农信信息科技部总经理傅晓三表示:“从信息化初期阶段开始,IBM就一直是江苏农信紧密合作的咨询和技术伙伴。IBM团队凭借卓越的行业知识、经验积累和深厚的技术、强大的解决方案帮助我们面对来自企业内部和外部市场的各种挑战。经过运维大数据平台建设项目的一期,我们建立了完整数据平台,实现了所有系统运维数据的整合;改变了原有运维思路,驱动了应用场景和IT业务创新;同时也为大数据分析业务的开放、共享和协作提供了人才储备。”


▶▶ IBM全球信息科技服务部技术支持服务部华东区总经理马岩表示:“江苏农信在数字化方面一直走在行业的前列,是IBM System z 大型机在中国的首家农信用户。我们很高兴在‘互联网’数字经济时代,IBM能够在运维大数据方面再次携手江苏农信,利用IBM先进的技术和深厚的金融行业积累,助力江苏农信实现业务永续和创新。”


在成功完成一期的建设目标后,IBM将支持江苏农信进行平台优化及场景规划,以及“运维大数据画像”,实现系统与应用联动,从应用入手,进行多指标关联分析与问题根因定位、业务画像、平台智能运维闭环、IBM System z大型机数据分析等功能。同时,基于一期建设成果,后续将对行内所有运维数据进行数据整合,完成江苏农信运维大数据湖的建设。


登录查看更多
1

相关内容

运维,这里指互联网运维,通常属于技术部门,与研发、测试、系统管理同为互联网产品技术支撑的4大部门,这个划分在国内和国外以及大小公司间都会多少有一些不同。
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
2020年中国《知识图谱》行业研究报告,45页ppt
专知会员服务
239+阅读 · 2020年4月18日
专知会员服务
123+阅读 · 2020年3月26日
《人工智能2020:落地挑战与应对 》56页pdf
专知会员服务
195+阅读 · 2020年3月8日
阿里巴巴达摩院发布「2020十大科技趋势」
专知会员服务
106+阅读 · 2020年1月2日
【大数据白皮书 2019】中国信息通信研究院
专知会员服务
137+阅读 · 2019年12月12日
携程用ClickHouse轻松玩转每天十亿级数据更新
DBAplus社群
11+阅读 · 2019年8月6日
【数据中台】什么是数据中台?
产业智能官
17+阅读 · 2019年7月30日
【干货】电商数据中台如何构建?
AliData
11+阅读 · 2019年4月4日
如何运营15万付费用户?
三节课
6+阅读 · 2019年2月28日
业务中台:如何在互联时代,快速响应用户需求?
互联网er的早读课
24+阅读 · 2018年12月26日
海康威视AI Cloud助力平安城市4.0建设
海康威视
7+阅读 · 2018年1月17日
【智能商务】海量商品查找利器—苏宁搜索系统
产业智能官
5+阅读 · 2017年12月1日
中国平安股价持续大涨背后
凤凰财经
5+阅读 · 2017年9月13日
A Survey on Bayesian Deep Learning
Arxiv
63+阅读 · 2020年7月2日
CoCoNet: A Collaborative Convolutional Network
Arxiv
6+阅读 · 2019年1月28日
Arxiv
5+阅读 · 2018年6月12日
Arxiv
7+阅读 · 2017年12月28日
VIP会员
相关资讯
携程用ClickHouse轻松玩转每天十亿级数据更新
DBAplus社群
11+阅读 · 2019年8月6日
【数据中台】什么是数据中台?
产业智能官
17+阅读 · 2019年7月30日
【干货】电商数据中台如何构建?
AliData
11+阅读 · 2019年4月4日
如何运营15万付费用户?
三节课
6+阅读 · 2019年2月28日
业务中台:如何在互联时代,快速响应用户需求?
互联网er的早读课
24+阅读 · 2018年12月26日
海康威视AI Cloud助力平安城市4.0建设
海康威视
7+阅读 · 2018年1月17日
【智能商务】海量商品查找利器—苏宁搜索系统
产业智能官
5+阅读 · 2017年12月1日
中国平安股价持续大涨背后
凤凰财经
5+阅读 · 2017年9月13日
相关论文
A Survey on Bayesian Deep Learning
Arxiv
63+阅读 · 2020年7月2日
CoCoNet: A Collaborative Convolutional Network
Arxiv
6+阅读 · 2019年1月28日
Arxiv
5+阅读 · 2018年6月12日
Arxiv
7+阅读 · 2017年12月28日
Top
微信扫码咨询专知VIP会员