개요

이 레시피를 사용하면 IBM CLOUD OBJECT STORAGE의 파일에서 데이터를 읽을 수 있는 DataStage Cloud Object Storage Connector job을 생성, 구성, 컴파일 및 실행을 할 수 있습니다.

 

준비사항

  1. IBM Infosphere Information Server Datastage 11.7 fp2 이상
  2. IBM Cloud Object Storage 계정

Step-by-step

1. 개요

IBM Cloud Object Storage는 높은 내구성, 복원력 및 보안을 위해 설계된 확장성이 뛰어난 클라우드 스토리지 서비스인 IBM-managed cloud service 니다.

Information Server는 IBM Cloud Object Storage의 파일에서 데이터를 읽고 ETL  job 설계에 통합할 수 있는 네이티브 클라우드 오브젝트 스토리지 커넥터를 제공합니다.

Cloud Object Storage Connector를 사용하여 IBM Cloud Object Storage저장소에서 읽기 작업을 수행하는 샘플 사용 사례를 여기에서 보여줍니다.  datastage job 에는 Cloud Object Storage Connector 를  source stage로  DB2 Connector 를  target으로 하며, 여기서 IBM Cloud Object Storage의 파일 데이터가 DB2에 있는 테이블에 기록됩니다.

이 레시피에서는 Cloud Object Storage Connector속성을 구성하여 IBM Cloud Object Storage 데이터를 읽는 방법을 보여 드리겠습니다.

2.   Cloud Object Storage 연결 속성 구성

1) Connection Properties 에 IBM Cloud Object Storage 계정의 Login URL, Access Key, Access Key 및 Secret Key 제공합니다.

 

2) 리소스 인스턴스 ID, API 키, 지역 및 IAM URL을 제공하여 리소스 인스턴스 ID 사용을 예로 선택하여 IBM Cloud Object Storage 에 연결할 수도 있습니다.

 

3.      Cloud Object Storage Connector 속성을 구성하여 IBM Cloud Object Storage 에서 여러 파일을 읽기

1) 읽기 모드를  “Read Multiple files using Wildcards” 로 선택하고 파일을  읽어야 하는 버킷 이름을 제공합니다.

2) 파일 이름 특성에 IBM Cloud Object Storage에서 데이터를 읽어야하는 와일드 카드를 제공하십시오. 지원되는 와일드 카드에는 *? 가 포함됩니다. 파일 이름에 더 많은 필터가 필요한 경우““Read multiple files using Regex Expression”를 사용할 수 있습니다.

3) 여러 파일 읽기 옵션(multiple files read option)을 사용하는 경우 와일드카드/정규식(wildcard/Regex) 과 일치하는 모든 파일에 동일한 스키마가 있어야 합니다.

4) 파일 형식을  CSV로 선택합니다. 현재 6개의 파일 형식이 지원됩니다: Delimited, CSV, Parquet, Avro, JSON, Excel. 모든 파일 형식은 요구 사항에 따라 선택할 수 있습니다.

5) 파일 형식을 선택하면 사용 요구 사항에 따라 헤더, 구분 기호, 견적 표시 등과 같은 선택적 서식 속성을 제공할 수 있습니다.

7.  Output tab에서 다음과 같이 IBM CLOUD OBJECT STORAGE에서 읽어야 하는 데이터의 열 이름 및 형식 세부 정보를 제공합니다.

8) DB2 Connector stage 에서 DB2의 테이블 이름과 연결 세부 정보를 제공합니다.

9) job을 컴파일하고 실행합니다. IBM CLOUD OBJECT STORAGE 에 있는 파일의 데이터는  DB2 의 테이블에 기록됩니다.

 

4.  참조

https://www.ibm.com/support/knowledgecenter/SSZJPZ_11.7.0/com.ibm.swg.im.iis.conn.cloudobject.usage.doc/topics/connect_to_cld.html

https://www.ibm.com/support/knowledgecenter/SSZJPZ_11.7.0/com.ibm.swg.im.iis.conn.cloudobject.usage.doc/topics/specifying_read_mode_cld.html

 

본  tutorial 은 아래의 developerWorks Recipes 를 번역한 글입니다.

IBM DataStage Cloud Object Storage Connector to read data in a hybrid-cloud environment