개요

이 레시피를 사용하면 Amazon S3에서 IBM Cloud Object Storage 에 데이터를 쓸 수 있는 DataStage 작업을 생성, 구성, 컴파일 및 실행할 수 있습니다.

 

준비사항

  1. IBM Infosphere Information Server Datastage 11.7 fp2 and above
  2. Amazon S3 account
  3. IBM Cloud Object Storage account

 

Step-by-step

1.설명

IBM CLOUD OBJECT STORAGE는 높은 내구성, 복원력 및 보안을 위해 설계된 확장성이 뛰어난 클라우드 스토리지 서비스인 IBM-managed cloud service 입니다.

정보 서버는 IBM CLOUD OBJECT STORAGE의 파일에서 데이터를 읽거나 쓰고 ETL 작업 설계에 통합할 수 있는 Native Cloud Object Storage Connector를 제공합니다.

Cloud Object Storage Connector 를 사용하여 IBM CLOUD OBJECT STORAGE에서 쓰기 작업을 수행하는 샘플 사용 사례를 여기에서 보여 줍니다.  Datastage job 에는 Amazon S3 Connector를 source stage로,  Cloud Object Storage Connector를 대상으로 하며, 여기서 Amazon S3의 데이터는 IBM CLOUD OBJECT STORAGE에 저장된 파일에 기록되어 다양한 클라우드 플랫폼으로 데이터를 이동합니다.

이 레시피에서는 Amazon S3에서 IBM CLOUD OBJECT STORAGE에 데이터를 쓰도록 IBM CLOUD OBJECT STORAGE Connector  속성을 구성하는 방법을 보여 드리겠습니다.

2. Amazon S3 커넥터를 소스로 구성

1) 다음과 같이 Amazon S3 Connector 의 연결 속성에 아마존 S3 계정의 Access KeySecret Key 제공 :

2) 파일이름 접두사로 시작하는 모든 파일의 데이터를 읽으려면 “Read Multiple Files” 를 선택합니다.

3) 읽을 데이터가 있는 Bucket name’  과  ‘file name’ 을 제공합니다.

4) 이 경우 Delimited 파일 형식을 선택합니다.

3. CLOUD OBJECT STORAGE Connector 속성을 구성하여 IBM CLOUD OBJECT STORAGE 쓰기

1) Connection 속성에 IBM CLOUD OBJECT STORAGE 계정의 Login URL, Access KeySecret Key 제공합니다

2) Resource Instance ID, API Key, Region 및 IAM URL을 제공하여 Resource Instance ID 사용을 예로 선택하여 IBM CLOUD OBJECT STORAGE 에 연결할 수도 있습니다.

3) Write Mode  “쓰기”로 선택하고 파일을 작성해야 하는 Bucket name  제공합니다. Bucket 이 IBM CLOUD OBJECT STORAGE 에 아직 없는 경우  Create Bucket  옵션을 “예”로 선택하여 작업 실행 중에 Bucket 을 만들 수 있습니다.

4) Amazon S3에서 데이터를 작성해야 하는 File Name 속성을 제공합니다.

5) 구분된 File format  선택합니다. 현재 6개의 파일 형식이 지원됩니다:  Delimited, CSV, Parquet, Avro, JSON, Excel.

모든 파일 형식은 요구 사항에 따라 선택할 수 있습니다.

6) 파일 형식을 선택하면 사용 요구 사항에 따라 delimiters, quotation mark 등과 같은 선택적 서식 속성을 제공할 수 있습니다.

4. 참조

https://www.ibm.com/support/knowledgecenter/SSZJPZ_11.5.0/com.ibm.swg.im.iis.conn.s3.usage.doc/topics/t_configuring_s3_read.html

https://www.ibm.com/cloud/object-storage

https://www.ibm.com/support/knowledgecenter/SSZJPZ_11.7.0/com.ibm.swg.im.iis.conn.cloudobject.usage.doc/topics/specifying_write_mode_cld.html