软件定义存储加码数据治理 助推金融机构数字化转型

标签：人工智能   实践   快速   数据融合   数据中台解决方案   数据应用   并发   文件   法律   

金融机构数字化转型中数据治理的困难与挑战

金融机构作为数字化转型的亲身实践者，在过去的实践中积累了较为丰富的数据治理经验。但是面对数据的海量增长，如何科学地管理和使用数据，“盘活”数据价值，使经济利益和社会效益最大化，依然面临着诸多困难与挑战。

困难一、缺乏统一数据视图，难以发现价值数据

由于历史原因，多数金融机构的数据资源散落在多个业务系统中，缺乏统一的数据视图，管理人员和业务人员无法及时感知数据分布情况，无法快速找到符合自己需求的数据，也无法发现有价值的数据并纳入数据资产。

困难二、数据孤岛普遍存在，跨业务共享效率低

金融机构将数据作为战略性资源，因数据共享机制不完善、各机构数据接口不统一等问题，导致数据难以互联互通，形成“数据烟囱”，不利于开放共享。

困难三、数据质量低下，业务决策根基不牢

数据质量是金融服务与创新的重要基础。由于缺乏完善的数据治理体系，金融机构在数据采集、存储、处理等环节存在不科学、不规范等问题，无法确保数据的完整性和准确性。

困难四、科技研发投入不足，数据场景融合不足

金融机构的数据规模十分庞大，从中挖掘高价值、关联性强的高质量数据，需要高效的信息技术支撑和可靠的基础设施保障。然而，部分机构科技研发投入相对不足，导致海量数据资源无法盘活，数据价值难以充分释放。

困难五、缺乏安全的数据环境，数据流程存在风险

倘若拥有庞大的数据资源，但缺乏安全的数据环境，同样危险重重。常见的安全风险包括数据泄露、数据滥用等，潜藏在数据的采集、存储、共享等各个流程中。

困难六、缺乏数据治理体系，数据“不善用、不尽用”

部分金融机构尚未建立起有效管理和应用数据的模式，对数据服务和应用缺乏合规性指导。由于法律法规尚不健全、数据治理体系还不完善、机构合规意识不足，数据“不善用”的问题突出，过度采集数据、违规使用数据、非法交易数据等问题屡见不鲜。

概括而言，一是数据组织形态和架构的问题，即如何将数据纳入统一视图、让数据跨业务共享；二是数据管理策略和安全的问题，即如何提高数据的质量、深化数据与应用的融合、保障数据环境的安全；三是数据价值发现的问题，即如何释放数据价值。

面对上述困难和挑战，金融机构如何解困破局、实现数据有序治理和高效利用，探索数据治理之“道”成为迫在眉睫的问题。

三大策略指引金融机构从数据管理到数据治理转型跨越

针对以上困难和挑战，金融机构如何制定数据治理策略、完善数据治理体系、做好数据资产管理和价值评估至关重要。所谓数据治理，就是处理数据的策略，即如何存储、访问、验证、保护和使用数据。数据治理必须涵盖数据的全生命周期，即从数据的获取、存储到管理、应用再到归档、删除的全流程。

按照数据生命周期的特点，可以将数据治理策略分为三个部分，即数据的获取和存储、数据的管理和安全、数据价值的释放。

策略一、数据的获取和存储

数据生命周期管理的起点，是数据的获取和存储，这也是数据治理最先面对的环节。若要解决统一视图、跨业务共享的问题，需要对数据资源制定标准、建立模型，并确定元数据和主数据的存储方式，可概括为数据标准管理、数据模型管理、元数据管理、主数据管理四个方面。

数据标准管理可确保大数据平台数据的完整性、有效性、一致性、规范性，推动数据共享开放。数据模型管理将所有数据纳入统一视图，便于数据整合。元数据管理实现关键信息的追踪、记录和快速检索。主数据管理实现跨系统使用一致的和共享的主数据，降低成本和复杂度。

策略二、数据的管理和安全

如何对数据进行管理、评估和共享呢？这便进入数据治理的第二阶段，即数据的管理和安全，该阶段的主要措施可概括为质量管理、安全管理、共享管理等三个方面。

质量管理帮助金融机构获得干净、结构清晰的数据，极大提升数据质量；安全管理确保数据资产在“存、管、用”等环节中的安全，做到“事前可管、事中可控、事后可查”；数据共享管理通过搭建统一共享平台，打通跨部门共享瓶颈，提高利用价值。

策略三、数据价值的释放

数据治理的最终目的是释放数据价值。数据价值管理是数据治理体系中的关键环节，是对数据内在价值的度量，主要从数据资产的分类、使用频次、使用对象、使用效果等方面计量。数据价值管理可以实现数据成本的有效控制，优化数据服务方式，提高数据应用价值。

以上各个环节之间环环相扣，只有紧密协同才能发挥更大作用。完善的数据治理体系帮助金融机构找准高质量数据、深挖高价值数据，最终实现数据资产效益最大化的目标，解决金融机构的数据治理之“困”。

软件定义存储助力数据治理体系建设

为构建数据治理体系，金融机构不仅要结合业务需求合理规划，更要依托信息技术梳理数据内容、安全存储数据、高效利用数据，存储系统必然是重要支撑。

现阶段，多数金融机构倾向于通过搭建数据湖（Data Lake）来存储包括结构化、半结构化、非结构化数据在内的数据资源，以供上层调用。这样一来，软件定义存储（Software Defined Storage，简称SDS）在金融机构数据治理体系中，无疑扮演着重要角色。那么，什么是软件定义存储？软件定义存储、数据湖、数据治理之间有何关系呢？

本质上，软件定义存储是提供存储功能和特性的软件，它将数据从硬件架构上解放出来，使用户专注于数据蕴含的价值。软件定义存储通过统一的虚拟管理平台，与前端应用、管理程序、物理空间进行交互，极大简化数据管理。数据湖是以自然格式存储的数据的系统，一般包括结构化数据、半结构化数据、非结构化数据和二进制数据等全部原始数据资源。简而言之，要实现数据存储和管理的优化，基于软件定义存储搭建统一数据湖无疑是极佳的选择。

图1：基于SDS的数据管理架构图

软件定义存储以分布式架构、弹性扩展、海量数据支撑、管理运维简单等优势，帮助金融机构搭建稳定可靠的数据平台，轻松实现海量数据的存储和管理，依靠AI后处理框架挖掘数据价值，成为金融机构治理数据的好帮手。主要体现在以下几个方面：

优势一、解决海量存储需求

针对金融机构缺乏统一数据视图、存在数据孤岛等问题，软件定义存储因其抽象化、池化等特性，从根本上解决了这类问题。软硬件解耦使得存储软件不再依赖于专有硬件；通过虚拟化，将物理存储空间虚拟成统一资源池，建立统一命名空间，构建多业务共享的数据湖；

其全分布式架构，弹性扩展灵活，支撑EB级容量，满足金融机构对容量、性能等需求。

优势二：解决智能管理需求

软件定义存储提供丰富的API，根据业务应用要求，自动按需部署存储资源，实现基于存储策略的自动化管理目标，极大地简化管理，节省基础设施投入，降低运维成本。其自定义管理的策略，实现生命周期自动化管理；通过智能缓存、数据分层等特性，让存储介质“物尽其用”，在数据访问性能和存储成本之间实现平衡。

优势三：解决释放数据价值需求

伴随AI技术的兴起，数据治理开始向“智能化”转变。与传统存储不同，软件定义存储能够实现内容感知，配合前端应用对海量数据进行大数据分析和价值挖掘。以杉岩数据为例，其对象存储产品中集成了AI后处理框架，支持包括OCR识别、票据识别、人脸识别、语音识别等AI插件，帮助金融客户更好的实现AI赋能和价值挖掘；同时还支持 Hadoop、Spark等大数据分析系统，充分释放数据价值。

面对诸多难题，软件定义存储帮助金融机构打造智能化的数据治理平台，解决数据的存储、管理、共享等一系列问题，极大地提升数据治理水平，为数字化转型提供有力支撑。

数据中台解决方案助推金融机构数字化转型

在金融机构数字化转型中，每家机构业务基础不同、战略重点不同，数字化转型中是不能套用一套模板的，需结合宏观架构和具体应用场景进而深入融合，才能助力金融机构在全面数字化转型中夯实“科技+开放”能力，与金融机构共建数字金融快车道，提升金融服务实体产业的质效。金融非结构化数据中台解决方案就是这样一个代表性的方案。

图2：金融非结构化数据中台解决方案拓扑图

数据中台解决方案，以软件定义存储作为能力后台，为数据中台提供存储支撑。基于分布式架构搭建统一存储池；通过生命周期管理、智能QoS等实现自动化管理；集成AI后处理框架，整合金融机构的 AI 能力，将数据价值最大化释放，为金融机构提供数据治理的技术支撑。

数据中台解决方案能够帮助金融机构解决数据孤岛、实现数据有序治理和高效利用。

一.实现能力平台化，使数据的存储、共享趋于服务化。面对需求变化，快速响应开发，通过数据与应用深度融合实现一次处理、多处应用，避免重复开发带来的效率损失。

二.解决数据孤岛问题。可实现跨业务检索、数据共享更加便捷，便于数据整合分析。解决业务性能弹性扩展，轻松支撑EB级容量、百亿文件高并发访问。

三.实现统一的基础设施资源管控，让数据治理更加场景化、模式化、体系化、标准化。统一的数据管理，保障数据完整性、准确性和一致性，减少重复收集造成的资源浪费和数据冗余。数据的规范共享，提升数据利用效率和应用水平，实现数据多向赋能。

金融科技蓬勃发展，金融业正处于以科技赋能实现大发展、大变革的关键时期。数据作为战略资源，加快数据治理进程、完善数据治理体系已经成为金融机构的重要工作。数据治理的核心环节是数据应用，要从算力、存储、网络等维度加强技术支撑，切实增强数据应用能力。对存储而言，探索、交叉融合、数据安全等数据存储方案是稳步推动分布式数据库金融应用的基石，实现数据高效存储和智能管理是目标。

在金融科技驱动的数字化转型进程中，一些金融机构已取得突破，如：中国金融认证中心、广发证券、中国人民保险、招行信诺等，基于数据驱动业务发展需求，采用数据中台解决方案，提升了一站式技术能力、统一数据管理能力、快速配置开发业务能力，通过数字化转型带来了数据融合和技术融合，满足了数据中台的建设需求。

金融业的数字化转型的快速发展，离不开像华为、杉岩数据等云计算企业，大家深刻认识数据资源对金融业数字化转型的重要意义，切实助力金融业把数据存储、管理、应用做到按需规划，推动金融业向数字化的落地。国产自主研发的软件定义存储作为数据存储+数据共享的平台，为金融业提供了更快的性能、更高的灵活性和开放性、更强的扩展性，实现更便捷的管理、更简单的运维以及更少的投入，帮助金融机构“数据治理”驶入快车道。

（文/ 杉岩数据CTO 邱尚高）

软件定义存储加码数据治理 助推金融机构数字化转型

标签：人工智能   实践   快速   数据融合   数据中台解决方案   数据应用   并发   文件   法律   

原文地址：https://blog.51cto.com/14636092/2472689