一.IT系统架构模式的演变

1. 烟囱式架构

基于单个项目建设，其特点为“烟囱式”，即垂直的体系结构，每一个IT系统都有自己的存储和IT设备，以及独立的管理工具和数据库，不同的系统不能共享资源，不能交付和访问，形成了资源孤岛和信息孤岛。这就使得企业IT系统有诸多弊病，即：IT资源的服务率非常低；IT基础设施复杂，难以适应业务变化的需求；服务器数量和管理的总体成本太高；无通用能力沉淀；重复建设相互协作能力及交互能力复杂

2.共性化平台

基于不同子平台共性，通过抽象和抽取共性，公用的功能，公用的服务建立应用层服务平台平台建相互独立。其任然存在无法解决的问题，即：平台建各自为政(平台烟囱)；沟通成本大(组织烟囱)；数据孤岛(数据烟囱)；前台变化无序和后台稳定有序之间的冲突等。

3.企业级中台架构

输出公共，通用化后台能力，快速支撑前台规模化创新，前台只负责直接和用户交互，后台负责服务，算法，数据，基础设施等。其核心是打造企业级共享平台，手段是后台提供基础能力封装，目标是前台敏捷迭代，提升其试错能力。主要类型有业务中台，数据中台，技术中台，安全中台，物联网中台，算法中台。

二.数据中台的应用闭环

三.数据中台详解

数据中台的主要定位是打造企业级数据共享平台，形成体系化的数据资产，建立平台化统一化的数据服务体系，主要应用与洁厕分析，营销推荐，实时交互等数据中台应具备下列能力，全域数据汇聚能力，数据资产体系能力，数据资产管理能力，工具/组件平台化，流程可视化。其架构如下图所示

四.数据中台各阶段技术选型

1.数据采集汇聚

日志实时采集：filebeat ，flume等
数据库实时同步：maxwell ，canal ,OGG
离线数据交换：sqoop，datax，自研产品

2.数据存储

HDFS，kafka，hbase/phoenix
Elasticsearch ， clickhouse等

3.计算引擎

离线计算：spark，hive
实时计算：spark ， Streaming ，flink

上一篇: 大数据常用架构Lambda,iota分析
下一篇: 高安全软件接口通信方案

企业级数据业务中台详解及使用技术 来源：未知 时间：2021-15-14 浏览次数：390次