转换大数据 CSV 文件并将其加载到数据库中  

生成文件、使用 SQLite 对其进行转换,并使用 zload 将其加载到 Db2 for z/OS 数据库中

Description

本 Code Pattern 演示了如何生成一组 CSV 文件、使用名为 SQLite 的工具对其进行转换,然后使用名为 zload 的 JDBC 函数将其加载到 Db2 for z/OS 数据库中。

概览

该 Code Pattern 是 Example Health Code Pattern 集合中的一部分,演示了云技术如何访问存储在z/OS系统上的数据。我们需要一种方法来生成大量患者医疗保健数据,以填充到 Db2 for z/OS 数据库中。我们发现了一个名为 Synthea 的开源工具,它可以生成我们所需的合成数据。

Synthea CSV 文件需要加以转换,以与 Example Health 应用程序中使用的表模式相匹配。我们找到一个名为 SQLite 的公共域工具,它可以轻松完成这些转换。

最后,需要将经过转换的 CSV 文件从分布式工作站加载到 Db2 for z/OS 数据库中。我们使用了名为 zload 的 JDBC 函数来完成此操作。zload 需要 Db2 for z/OS V12 才能正常运行。

  1. 调用 Synthea 工具以生成一组 CSV 文件,其中包含合成的患者医疗保健数据。
  2. 调用 JDBC 程序来确定 DB2 for z/OS 数据库中当前患者最大数量。
  3. 调用 SQLite 程序来转换 Synthea 生成的 CSV 文件,使其与 DB2 for z/OS 数据库的模式匹配。
  4. 调用 JDBC 程序以将经过转换的 CSV 文件加载到 DB2 for z/OS 数据库表中。

Instructions

README 文件中可找到本 Pattern 的详细步骤。这些步骤将展示如何:
  1. 安装所需工具。
  2. 克隆并构建项目。
  3. 克隆并构建 Synthea 项目。
  4. 在 synthea/src/main/resources/synthea.properties 中根据需要更改属性。
  5. 创建 DB2 for z/OS 数据库。
  6. 设置脚本连接到 DB2 for z/OS 数据库所需的环境变量。
  7. 从当前目录设置为 Synthea 项目的项目运行该脚本。

相关博客

相关链接

英文原文

本 Code Pattern 翻译自:Transform and load big data CSV files into a database(2019-3-21)