拥抱混合数据未来，Cloudera定义现代数据生态系统架构

  【雷竞技须安全稳定 企业频道】如今，数字经济时代正在加速到来，数据已经成为重要生产要素。这意味着整合更多数据、拥有更强的数据分析和处理能力，以数据服务化、数据知识化、数据资产化驱动运营，将是企业获得核心竞争力的关键。但是，在构建数据驱动型组织的道路上，多云、混合云成为企业的选择，业务数据不可避免地被分散各地，成为混合数据，并为数据分析带来难题。

  在混合数据趋势下，构建现代数据生态系统架构成为企业降本增效的选项之一。Gartner认为，未来的数据生态系统应该利用分布式数据管理组件，可以在多个云和/或本地运行，但应被视为具有高度自动化的紧密的整体。并且，集成、元数据和治理功能将各个组件粘合在一起。扎根于混合数据领域的Cloudera，也对现代数据生态系统架构有着全新的思考，并于近期推出新一代数据平台CDP。

  日前，Cloudera大中华区技术总监刘隶放接受雷竞技须安全稳定 的采访，分享了Cloudera关于构建现代数字生态系统架构的方法论。 

 Cloudera大中华区技术总监刘隶放

  构建现代数字生态系统架构的技术框架和方法论

  近年来，随着数字化的不断深入，企业内外的数据量成倍增长，并分散地存储于私有云、公有云、本地等地方，逐渐演变为混合数据。同时，企业对数据的分析和应用的要求趋向于灵活和敏捷，此外，数据分析系统还需要引起企业管理层及IT运维人员的重视。这为数据分析系统提出新的挑战。

  在采访中，刘隶放表示：“企业不同人员对数据分析的关注点不同，因此对构建现代数字生态系统的技术框架选择也不同，企业CEO、CIO、CDO往往关注数据网格((Data Mesh)，CTO、CSO则关注数据编织技术方案，而领域从业者关注在具体项目优化中的湖仓一体技术。”为了便于企业选择，刘隶放分别阐述了数据网格、数据编织以及湖仓一体技术的区别。

  其中，数据网格作为一种架构模式，将数据与产品思维进行深度融合，适用于大型复杂组织中实现企业数据平台，并有助于扩展分析的采用范围，使其超越单个平台和单个实施团队。在大型组织中，让团队在平台上处理所有的数据可能遇到一些问题：从业务角度来看，大多数组织都是分散和分布的，不同的业务部门，以及部门处理不同的部分，使得数据也比较分散。而数据网格的目标是让分布式团队以分散和灵活的方式处理和共享信息。

  数据编织则是一种跨平台的数据整合方式，Gartner认为，数据编织不仅可以集合所有业务用户的信息，还具有灵活且弹性的特点，使得人们可以随时随地使用任何数据。换言之，是利用AI、机器学习和数据科学的功能，访问数据或支持数据动态整合，以发现可用数据之间独特的、与业务相关的关系。刘隶放表示：“数据编织的终极目标是为了数据的集成和访问提供一种更灵活的、无缝的自动化的方式。”据悉，自2019年起，Gartner连续3年将数据编织(Data Fabric)列为年度数据和分析技术领域的十大趋势之一。

  湖仓一体将数据湖的灵活性和数仓的易用性、规范性、高性能结合起来的新型融合架构，类似于在湖边搭建了很多小仓库，有的负责数据分析，有的运转机器学习，有的来检索音视频等，数据源流都可以从数据湖里轻松获取。刘隶放认为，湖仓一体集成并统一了数据仓库和数据湖的功能，旨在支持单一平台上的AI、BI、ML和数据工程。

  刘隶放谈到，在企业内部面对不同角色，需要不同的数据架构和方法论，然而，数据网格、数据编织、湖仓一体等架构之间并不矛盾，区别在于关注的人群和企业决策者不同。那么，如何充分发挥各自的优势，为企业数字分析增砖添瓦的同时，也能为企业降本增效，驱动企业业务增长？

  Cloudera给出了自己的答案。

  Cloudera拥抱混合数据未来

  Cloudera将数据网格、数据编织和湖仓一体的优势充分融合，提供适用于数据编织、数据湖库、数据网格和未来数据生态系统架构要求的混合数据平台的混合数据平台，允许客户在多个公共和私有云以及本地访问和分析数据，使企业能够做出由数据驱动的明智决策，帮助企业建立由数据驱动的未来。

  由此可见，Cloudera能够让企业依托灵活的企业架构实现数据分析。刘隶放表示：“目前，Cloudera Data Platform(CDP)适应数据网格、数据编织和湖仓一体，在多云和本地部署方面，还可以实现数据分析和数据管理，而且数据分析代码经过编写后，还可以跨平台，在云、本地、私有云平台运行。此外，Cloudera通过SDX服务，来提供集中的数据管控和处理。”据悉，SDX是共享数据体验，能够帮助企业进行数据的安全管控和治理。

  详细来看，Cloudera数据平台是面向域的分布式数据产品，由拥有嵌入式数据工程师和数据产品所有者的独立跨职能团队拥有，使用通用数据基础设施作为平台来托管、准备和服务其数据资产。在湖仓一体方面，Cloudera数据平台集成和统一数据仓库和数据湖的功能，旨在支持同一数据集上的AI、BI、ML和数据工程。

  此外，Cloudera数据平台以自助服务的方式智能、安全地动态编排不同的数据源，利用数据平台提供集成的可信数据，以支持各种应用程序、分析和其他工作负载，并获得跨所有环境的一致体验。刘隶放表示：“从域的角度来讲，Cloudera有面向域的分析的数据产品，能够让让来自业务系统的团队、数据工程师、产品管理者实现跨平台的利用和使用数据。”

  随着企业数字化深入，Cloudera不断深化着自己的价值，不仅能让企业从任何云中的任何数据获得实时洞察力，帮助客户建立数据驱动的文化，还支持支持跨云和多云，包括本地私有云的部署。此外，Cloudera也与大量合作伙伴做了开放性认证，可以支持开放的标准和互操作性，以最快的速度拉动企业的增长。

  写在最后

  时下，数据作为二十一世纪重要的生产要素正在衍生出新的价值，而数据分析则扮演着不可或缺的角色。对于企业而言，发挥数据价值也成为业务提升的重要方式，由此，企业决策者势必要有效地管理数据、分析数据。此时，以Cloudera为代表的数据企业，不断探索新的技术框架和解决方案，构建现代数据架构，助推数字化转型。