破解大数据背后的烦恼

本篇文章2093字，读完约5分钟

在“互联网加”的浪潮下，中国银行业的科技电子化改造取得了丰硕成果。相关统计显示，目前国内大型商业银行电子渠道交易的比例已经超过80%。然而，值得注意的是，电子渠道不仅成为现代商业银行新的战略业务和利润增长点，也给商业银行带来了新的挑战。

“银行信息系统每天处理超过2亿笔交易，高峰时可达2.7亿笔。”青岛银行相关负责人生动地告诉记者，如果每笔交易记录都以表格形式录入并保存，即使每条线只有一厘米长，一个月的交易量记录也可以绕地球赤道一周半。

在如此庞大的数据背后，各种操作和维护级别以及复杂的操作和维护管理带来了新的挑战。如何保证交易的顺利进行，提高智能操作和维护水平，考验着银行业的智慧。

最近，这方面的研究取得了突破性进展，青岛银行的“数据科学与技术在中小银行运维管理中的应用研究”获得了银行业信息技术风险管理项目二等成果奖。中国银行业在智能运营和维护的道路上迈出了坚实的一步。

数据时代考验银行业的运营和维护水平

银行业人士普遍认为，随着我国社会经济活动的加快，银行信息系统的规模、信息处理能力和业务量不断扩大，管理的难度和复杂性也在不断上升，给银行信息系统的生产、运营和服务管理带来了前所未有的压力和挑战。

事实上，就技术风险而言，银行业有其自身的特殊属性，主要表现在银行业的财务数据和客户数据高度集中，服务对象复杂，物流分布广泛，所提供的服务与个人、企业乃至国民经济密切相关。银行信息系统服务一旦出现故障，其带来的危害和影响不能仅仅用企业的经济损失来衡量。

此外，与大银行相比，中小银行面临着一些特殊的问题，如资本投入有限、管理质量低、对劳动力的依赖性强等。在当今复杂多变的互联网环境下，如何进一步提高信息系统运维质量和效率，预测运维隐患，为业务持续稳定运行提供高效可靠的技术支持，逐渐成为数据时代银行业必须深入思考、积极探索和迫切解决的重大问题。

“从传统it运维到主动智能运维，全面提升企业的智能运维水平是金融机构发展中不可忽视的重要研究课题。”据青岛银行负责人介绍，本项目以中小银行数据管理中存在的运维问题为研究背景，提出了“利用先进的数据科学技术对运维数据进行智能应用研究”的思路。

“通过运维数据的智能检索和引导式查询挖掘视图，帮助运维人员快速获取信息，并通过运维数据进行智能分析和预测，帮助中小银行提前规避风险，提高运维人员处理问题的效率。”上述负责人告诉记者。

智能操作和维护实现了从10到1的突破

记者了解到，通过本次研究和实践，青岛银行初步完成了运维数据集中智能管理的规划，所有半结构化和非结构化数据将存储在运维数据综合应用平台中。同时，通过能力预测、运维日志智能分析、动态基线技术等动态、主动的it运维管理策略，可以发现事件的表现形式和故障原因，确保采取有效措施积极预防故障发生，实现前瞻性预测。

最直观的数据之一是，青岛银行通过对运营和维护信息的高速检索，率先将日常故障排除的时间成本从最初的平均10分钟降至1分钟。同时，根据实际评估，5个服务器集群中的1亿个日志数据的关键字搜索可以在1-3秒内返回，在扩展集群机数量的情况下，性能可以得到线性提升。

在此背景下，青岛银行围绕这一课题的应用研究主要包括:利用行业先进的数据处理技术，将大量的运维指标抽象成时间序列数据，并存储在时间序列数据库中，实现快速存储和查询；设计运维日志智能聚合分析方法，研究日志智能聚合技术在各种运维场景中的应用；创建海量运维数据检索引擎，并将其与知识检索和数据压缩有机结合；构建运维数据集成应用平台，研究运维数据全生命周期中从采集到整理、存储、分析和应用的各个环节的连接和构建方法。

“通过对数据科学运维管理的研究，青岛银行将告别事前事后管理，进入事前管理的新时代，有效地主动预防和预测潜在问题，在业务受到影响前解决问题，迅速实现向主动it运维管理的飞跃。”银行负责人说。

跨境勘探运营维护数据集成应用平台

记者在采访青岛银行项目相关负责人时了解到，该行连续五年在银监会信息科技风险管理项目中取得优异成绩。值得一提的是，青岛银行与海智网络科技(北京)有限公司合作，为中小银行智能运维管理研究提供技术支持。作为一家专业从事大数据技术和智能运维的企业，海智公司通过机器数据帮助it部门发现并关联隐藏在系统孤岛中的潜在有价值的信息，结合成熟的智能运维解决方案，快速检查并定位故障根源，通过预测分析提高企业的智能运维水平。

“这次，在海智公司大数据的配合下，青岛银行搭建了一个银行运维数据的综合应用平台。平台的建设将改变传统的被动防御运维管理模式，增强运维的主动性，提高知识传递的有效性，规范数据信息提交、处理、反馈和优化的流转流程，确保运维数据的准确性和运维数据管理的正常运行。”银行负责人说。

青岛银行负责人表示，今后，青岛银行将沿着深度学习和知识图谱化的方向，进一步研究银行的智能化运营和维护。一方面，通过深入学习检测和识别恶意软件和新的恶意软件，并在恶意软件造成损害之前给出预警；另一方面，利用知识地图分析运维数据的中心性，计算距离相关系数，可以实现银行智能运维的最终目标。