这个博客是 Db2 事件存储学习路径的一部分。

等级 课题
100 实现对物联网和快数据的实时分析以收集有意义的洞察
101 通过分析点击流了解客户的兴趣
102 利用机器学习和高级分析技术分析物联网传感器数据
103 对零售订单数据进行分析
104 使用 Apache Kafka 将数据导入到 IBM Db2 事件存储中

数据正在推动当今的数字化转型进程,但只有 15% 的组织从其数据中获得了所需的结果。87% 的组织将在未来两年内重新评估或采用快数据分析战略,力求更好地实现目标。(阅读 Forrester 撰写的研究报告)。

在组织的 AI 转型之路上,您需要采用规范的方法来加速您的旅程。阅读 Daniel Hernandez 的博客文章“How to Scale the AI Ladder”,此文讨论了以下 5 个开启 AI 之门的步骤:

  1. 在多云环境中实现所有数据资产的现代化。
  2. 收集数据,使其简单易用。
  3. 组织数据以创建业务。
  4. 在值得信赖且完全透明的前提下随时随地分析和扩展 AI。
  5. 在整个企业中融入 AI 并使之有效运作起来。

没有 IA(信息架构)便没有 AI。深入研究为使数据简单易用而进行的数据收集部分,我们会发现在选择合适的数据存储库方面,IBM 提供了众多选择。  

我们先从混合数据管理平台着手。  此平台支持您随时随地部署和扩展数据,甚至可以让您选择所需的部署目标 – 公共云或私有云、企业内部乃至设备。  所有这些数据存储都与一个通用 SQL 引擎交织在一起,并且跨所有不同风格提供一种统一体验。

让我们描述一下您可能需要为混合数据管理策略处理的不同工作负载类型,以及哪些可能最适合该作业:

  • IBM Db2 Advanced Enterprise Server Edition:这是企业领域中最值得信赖的数据库管理系统,世界上一些最大的机构使用它来运行最重要的事务工作负载和分析工作。
  • IBM Db2 Warehouse:这是一个高度灵活的数据仓库,经过优化,可通过 Docker 容器快速部署到私有云或虚拟私有云中。
  • IBM Db2 Big SQL:这是一个企业级、兼容混合 ANSI 的 SQL on Hadoop 引擎,提供大规模并行处理 (MPP) 和高级数据查询功能 – 为不同的数据源提供单一数据库连接或查询,如 HDFS、RDMS、非关系型数据库、对象存储和 WebHDFS。

接下来,我想深入研究专注于快数据的一类数据工作负载。通常,在物联网或实时分析用例中,您将使用这些类型的数据存储。在这一领域,数据实时生成;因此,我们希望也能够实时处理这些数据。例如,从 CDR(呼叫数据记录)生成大量数据的电信公司需要实时分析数据,以便它们可以对网络中的潜在欺诈或负载平衡采取操作。此外,在生产线中,您会从传感器中获得数百万个数据点,这些传感器可以实时检测零件何时会发生故障,并且能够在不影响整个生产程序的情况下对故障采取措施。

以上就是您需要诸如 IBM Db2 Event Store 之类数据库的例子,这样您就可以快速提取和分析事件驱动应用程序的流数据。IBM Db2 Event Store 每天能够提取数千亿起事件,并可以立即分析提取的数据,实时获得洞察。该系统还以 Apache Parquet 格式存储所提取的所有数据,并且持续可用,这意味着硬件故障不会影响其提取数据或获取洞察的能力。

IBM Db2 Event Store 针对机器学习进行了优化,并嵌入了 IBM Watson Studio。这意味着您现在可以使用从流媒体源收集的数据,并可以实时应用 AI 来处理提取的数据。IBM Db2 Event Store 是 IBM Cloud Pak for Data 的高级附加组件,后者是一个新型数据和分析平台,可简化数据的收集、组织和分析方式,从而加速实现数据科学和 AI 的价值。它还针对物联网进行了优化,具备新时间序列库(包含适用于此类用例的特殊 SQL 函数)等功能。

总结

本博客是学习路径的第一部分,它将引导您快速了解 IBM Db2 Event Store 提供了什么以及如何使用它。学习路径包括一个循序渐进的教程、Code Pattern 和完整的工作代码示例。在学习过程中,您将了解 Db2 Event Store 的更多特性和不同的用例。

我们开始吧。第一步将是学习通过分析点击流了解客户的兴趣,并分析您的网站客户活动与互动可视化。

本文翻译自:Achieve real time analytics, IoT, and fast data to gather meaningful insights(2019-7-12)

加入讨论