亚马逊云科技：“云、数、智”三位一体，助力企业重塑数据洞察

在云中实现数据与智能的大融合将成为企业加速创新的引擎，这一趋势的背后有两个明显的行业共识：一方面，数据成为企业最重要的资产；另一方面，数据的价值还没有得到充分利用。显然，数据想要得到充分发挥，选择数据驱动型的组织的方式，通过业务产生的数据反向驱动公司的战略执行，成为企业当前不容忽视的课题。

“成为数据驱动型公司，收入增加20%，同时成本会减少30%，是一个双赢的选择。以亚马逊自己为例，数据在亚马逊自己的仓储、物流优化中已经发挥了巨大的作用，” 亚马逊云科技大中华区产品部总经理陈晓建表示，亚马逊云科技有很多创新的产品，比如智能云因智能助手Alexa和智能机器人Astro都是通过大数据和AI的技术催生。当然，想要做到数智融合，有两个关键因素：大数据技术和机器学习技术。

在IT现代化的时代，数据产生是指数级增长的，数据也日益应用到很多的应用领域。随着整个应用场景就变得越来越复杂，很多企业已经不满足于传统大数据所谓的T+1模式，而是按时，甚至是按分实时的大数据服务。

另一方面，不到10年的时间，AI的应用深度和广度不断加深。IDC报告显示，到2023年，AI系统支出将达到979亿美元，比2019年会增加2.5倍，短短4年会有2.5倍的增幅。Gartner也预测，到2024年，75%的企业将把机器学习技术真正用于生产，为业务所赋能。

可预见的是，机器学习和大数据对企业业务会产生越来越大的作用，企业也希望能够通过融合大数据和机器学习能力来提供业务产出，以充分发挥数据的价值。

事实上，单纯从用户角度谈，这是非常自然合理的趋势。机器学习技术有三大依赖因素：算力、算法、数据。大数据技术所提供的能力是机器学习建模所需要的必然基础。反过头来看，机器学习也能够为大数据技术提供更高的智能，为商业业务产生价值。也就是说，大数据技术和机器学习技术本身就是互为因果的。

不过现在来看，大数据和机器学习走向了截然不同的道路：大数据侧重点在于如何完成海量数据的采集、清洗、查询等能力；而机器学习更看重算法本身的优化。

目前，数据分析和机器学习融合仍需要解决三个问题：数据和机器学习分而治之，数据及技术孤岛制约敏捷迭代；数据处理能力不足以及数据分析人员参与度低。

在陈晓建看来，企业应在云中打造统一的数据基础底座，实现大数据和机器学习的双剑合璧，为企业发展提供新动力，是实现数智融合最有效的一条途径：首先，建立统一融合的治理底座，如数据质量、数据权限、数据开发、数据工作流、可视化。

在此基础之上，大数据和机器学习之间应该是高效充分的双向互动，互为支撑，互为因果，形成正向循环。

需要注意的是，实现数智融合的前提必须要构建三大核心能力：统一的数据共享，让数据资产化，打破数据孤岛；统一权限管控，放心的让数据在不同的业务系统之间流转；统一开发及流程编排，融合端到端的大数据和机器学习任务，提升整体的开发效率。

从具体的落地产品和服务来看，亚马逊云科技从2021年就发布了“智能湖仓”架构及其核心理念，强调企业在现代化数据进程中，需要的不是单一的产品，而是需要灵活开放的架构，通过可扩展、安全可靠的数据服务，专门构建带来高效分析的数据分析引擎，以及AI的工具，为企业提供极致的性能。

如今，一年的时间过去了，亚马逊云科技又一次以“智能湖仓”架构为主体，“大数据与机器学习的融合”理念，实现了深度智能的再升级。

企业在大数据和AI或者机器学习融合过程中产生的两条不同发展路径：一方面，机器学习能力完全诞生于大数据团队，他们更倾向于亚马逊云科技的产品是Amazon EMR，能够提供与开源框架完全兼容的技术能力，像Spark ML Lib框架在机器学习领域被广泛采用去实现机器学习算法。通过灵活扩展能力，以及在云端采用Amazon Graviton 2自研芯片的创新能力，在带给企业完全开源兼容性的同时，大幅实现性能和成本的提升。

另一方面，企业进行机器学习和大数据项目创新是由于深度学习所带来的，这类项目特点是数据来源单一，只需要负责图片就可以了。在这样场景下，客户倾向于面向数据科学的Amazon SageMaker，从数据标记、内置算法，再到高效的丰富的模型训练，以及可以在生产环境灵活弹性实现模型部署的、端到端的机器学习的能力。

在技术实现层面来看，亚马逊云科技帮助客户构建统一的数据治理底座，实现大数据和机器学习的数据共享，数据权限的统一管控，以及统一的开发和流程编排。其中，Amazon Lake Formation推出诸多新功能，实现了数据网格跨部门的数据资产共享，以及基于单元格的最细粒度的权限控制机制。Amazon SageMaker Studio可一站式地完成数据开发、模型开发及相关的生产任务，该服务基于多种专门构建的服务，如交互式查询服务Amazon Athena、云上大数据平台Amazon Elastic MapReduce （Amazon EMR）、云数据仓库服务Amazon Redshift、Amazon SageMaker等，为大数据和机器学习提供统一的开发平台。

此外，在数据分析智能化方面，亚马逊云科技也不断推出新服务，例如，在日常分析工具中集成机器学习模型预测能力，其中深度集成机器学习Amazon SageMaker模型预测能力的Amazon QuickSight 、在分析结果中添加基于模型预测的Amazon Athena ML，可帮助用户使用熟悉的技术，甚至通过自然语言来使用机器学习。亚马逊云科技还提供如Amazon Redshift ML、可视数据准备工具Amazon Glue DataBrew、零代码化的机器学习模型工具 Amazon SageMaker Canvas等服务，让业务人员探索机器学习建模，通过更加智能的数据分析服务，赋能业务人员进行智能分析、模型效果验证以及自主式创新。

写在最后

总体来看，亚马逊云科技通过智能湖仓架构五大核心优势理念延伸出在云中实现大数据与机器学习融合的实践路径，并通过“云、数、智”三位一体服务组合优势，为大数据和机器学习打破数据及技能孤岛，机器学习由实验转为实践，赋能业务人员探索创新。

“企业要重塑数据洞察，一定是将数据（大数据技术）和智能（机器学习技术）进行融合和统一，在云中打造统一的数据基础底座，实现大数据和机器学习的双剑合璧，为企业发展提供新动力。”陈晓建表示，数、智统一与融合的价值在于更高效地围绕数据构建和实施项目，使得数据在两者之间无缝流转，成员快速具备相关能力，帮助客户从数据驱动组织、构想到最终实现的全链条服务，推动公司企业数字化转型迈向新的高度。