1. 找Saas首页
  2. Saas资讯

安信证券王环:安信证券数据中台建设历程

 

2020 年 10 月 13 日,在以“数字化 正当潮”为主题的「神策 2020 数据驱动用户大会」现场,安信证券信息技术中心数据平台团队负责人王环发表了《安信证券数据中台建设历程》的主题演讲。(文末附 PPT 下载地址)

本文根据其现场演讲整理所得,主要内容如下:

数据中台一词现阶段很热,金融行业、互联网行业、制造行业等等都在讨论数据中台的建设,但数据中台到底是什么,大家对此是没有共识的。我相信,在未来 2-3 年,关于数据中台的讨论越来越少、行动越来越多的时候,数据中台的共识才会形成。

数据中台建设背景
1.我们为什么要建设数据中台?

从业务角度看,数据中台在发展过程中,面临着以下挑战:

第一,烟囱建设。虽然券商和银行的体量差距较大,但日常运营系统规模却相差无几,从安信证券来看,我们现有系统大概 200 多套,功能俱全。但从数据角度看,缺少共享数据模型和规范,包括指标、口径等,数据重复存储,导致资源浪费。

第二,数据孤岛。这个问题和烟囱建设密切相关,因为数据分散在各个系统内,无法有效整合打通,数据割裂严重,很难做统一的分析与统计,难以发挥全域数据的价值。

第三,需求响应慢。为满足业务场景需求,需要从多个系统里进行数据采集,再做复杂的转换加工,缺乏底层工具和平台方面的支撑,疲于应付临时性提数分析需求,无暇顾及平台级建设和数据治理,恶性循环。

第四,缺乏沉淀积累。大数据开源组件众多,更新迭代快,安装部署维护使用的技术门槛高,证券场景复杂,无法做到技术、业务、人才的积累。

2.从数据技术架构的演变历程来看,数据的发展有着清晰的脉络。

关系数据库建立初始仅是底层数据库存储计算最基础的一个部件,不管是数据分析还是报表功能,都是作为业务系统的附属功能或者一部分而存在;九十年代数据仓库概念提出之后,业务系统与管理系统逐渐分离,并陆续出现了专门为 OLAP 场景打造的专用数据库产品。

自 2005 年,互联网海量数据处理加工引发技术革命,以 Hadoop 开源生态为基础的大数据技术栈兴起,数据湖成为数据存储加工的主要方式;直至近两年,数据逐渐从业务过程的“副产品”转变为“本身即业务,本身即服务”, 厚中台、薄前端的理念才开始被业界认可。

 

3.数据中台是将业务系统的数据存储和计算能力抽离,由单独的数据处理平台提供存储和计算能力,抽象业务共性需求,提供共享复用的数据服务。

 

在我的理解中,数据中台包括 4 个部分的内容:

第一,方法论。涉及大中台、小前台、业务数据化、数据业务化等一些概念,也包括现在常用的建模的理论等。

第二,组织。建设数据中台需要有专业的数据团队,若单纯依附于业务团队是不靠谱的,如果一个企业没有专业的数据中台的团队,那么这个数据中台一定是建不成的。

第三,工具链。如果只讲方法论是没有办法落地的,因此,所有的方法论都需要有对应的工具平台做支撑推动其落地,这里面包括最基础的底层大数据平台,包括任务调度工具、数据服务、自助查询分析工具等。

第四,运营。也就是数据的运营,偏向于数据治理、从源头做全生命周期的数据治理。

数据中台发展历史

安信证券是 2006 年 3 家券商合并组建的,相对于老品牌的证券公司历史还是比较短的。在这 14 年间,经历了数据中心建设规划到建设启动,到数据仓库的建成、升级扩容,再到大数据平台、数据中台的建设,我们见证也被见证着数据平台在安信证券的发展。 

 在 2018 年以前,我们的系统架构还较为简单,采集工具包括商用的、开源的等,每个项目自行做技术选型,用各自的工具从业务系统采集数据,然后存储在我们的大数据平台、数仓或资讯类的数据库。

数据中台建设内容
1.在安信证券整个数据中台的建设过程中,遵循着以下六大基本原则:

第一,业务数据化。数字化这个问题相对比较复杂,我们很多时候连信息化的过程都还没有完成,线下业务很难记录到线上系统中,因此,要汇聚全域、全部业务过程和结果数据,统一存储,建设企业级数据仓库。

第二,数据标准化。通过规范化的加工处理,统一数据标准,完成全流程数据治理。

第三,数据可视化。在建设系统的过程中,我们希望能够把数据采集、开发、探索、分析、查询全流程可视化,降低数据开发使用门槛,不仅可以支持数据团队和 IT 团队使用,还能直接赋能业务团队。

第四,数据资产化。这里我们的主要工作是规范完善元数据信息,提供数据地图、数据目录等,帮助各部门高效便捷获取数据信息,使得数据可见、可懂、可用。

第五,数据服务化。数据怎样变成服务?怎样降低数据使用成本?这就要求我们能够提供统一标准化数据服务 API。

第六,数据业务化。数据作为产品和数据服务的一部分,提升客户体验和业务价值是重要内容。

2.从建设维度上来看,安信证券主要从技术体系、数据体系、数据治理与运营体系、数据应用四方面入手。

 

目前,安信证券的系统架构在 2018 年版本的基础之上做了具体组件的替换和补充,对内外部数据源的同步采集做了统一规整:通过自研的批量同步工具(类似阿里的 DataX),轻松对接各类型数据源,实现可插拔的适配;通过 AR、OGG 等商业化工具做实时同步;通过神策数据埋点功能进行 APP 行为数据的采集;通过 Flume 进行服务端日志采集。以上数据在采集之后统一汇入到 CDH 集群里面,在此基础之上,安信自研了任务调度系统,包括所有采集和计算的任务的调度、任务的依赖等。

在数据平台端,安信证券将其分为三类,分别是:数据服务平台、AI 服务平台、数据资产平台。 

 

关于数据仓库模型,安信在原来数仓模型基础之上做了重构与标准化分层,参考证券行业模型做了拆解和增补,以此来适配安信证券的业务发展。

3.安信证券的数据治理和数据运营。

在数据治理上,安信证券针对专项任务和日常事件(包括用户和业务的问题反馈)对数据质量做系统性地梳理和排查,也会结合公司监管和战略层面的一些重大任务来推动,通过这两个抓手推动数据质量的提升和标准化。整体上来说,数据治理要从源头做起,然后再渗透到全生命周期。

另外,传统证券公司的数据团队更多承担着经营分析、统计等脱离实际业务流程的、偏管理性质的工作,因此在企业内部培养数据文化,强化公司、部门、员工的数据意识,利用数据做决策、运营,才能保证数据治理和运营达到预期效果。

在此过程中,安信重视数据团队对业务系统建设的参与度,抽象共性场景提炼数据服务,支撑业务部门对数据的需求,以实现数据业务化的目标。 

4.通过实时资产、投研云、用户画像三个实际应用场景介绍安信证券的数据平台落地实践:

第一个,实时资产,它重度依赖大数据平台能力,特别是大数据的处理能力和流计算模式,是 APP 上用户重度依赖的功能,DAU 可达数千万。

第二个,投研云平台,最初建立是基于量化部门的需求,他们在用单体服务器做研发时面临着数据和算力的挑战,基于这两个痛点,安信证券通过 Spark 改写量化策略,在大数据平台做运行与训练,并逐渐探索深度学习的模型,以此提升部门和企业的研发效率。

第三个,用户画像,它完全构建在大数据平台之上,对用户的基本特征、资产收益、投资能力、投资风格等进行体系化画像,是在应用端所做的展示。

现阶段,大数据平台特别是 Hadoop 这个生态体系已经完善和成熟;在未来,其基础设施会逐渐云原生化,实时数仓和流批融合驱动业务时效性增强,数据和智能渐趋融合,数据治理等朝着更加智能化的方向发展。

 

本文来自牛透社,经授权后发布,本文观点不代表找Saas立场,转载请联系原作者。