κ°œμš”

이 λ ˆμ‹œν”Όλ₯Ό μ‚¬μš©ν•˜λ©΄ Amazon S3μ—μ„œ IBM Cloud Object Storage 에 데이터λ₯Ό μ“Έ 수 μžˆλŠ” DataStage μž‘μ—…μ„ 생성, ꡬ성, 컴파일 및 μ‹€ν–‰ν•  수 μžˆμŠ΅λ‹ˆλ‹€.

 

쀀비사항

  1. IBM Infosphere Information Server Datastage 11.7 fp2 and above
  2. Amazon S3 account
  3. IBM Cloud Object Storage account

 

Step-by-step

1.μ„€λͺ…

IBM CLOUD OBJECT STORAGEλŠ” 높은 내ꡬ성, 볡원λ ₯ 및 λ³΄μ•ˆμ„ μœ„ν•΄ μ„€κ³„λœ ν™•μž₯성이 λ›°μ–΄λ‚œ ν΄λΌμš°λ“œ μŠ€ν† λ¦¬μ§€ μ„œλΉ„μŠ€μΈ IBM-managed cloud service μž…λ‹ˆλ‹€.

정보 μ„œλ²„λŠ” IBM CLOUD OBJECT STORAGE의 νŒŒμΌμ—μ„œ 데이터λ₯Ό μ½κ±°λ‚˜ μ“°κ³  ETL μž‘μ—… 섀계에 톡합할 수 μžˆλŠ” Native Cloud Object Storage Connectorλ₯Ό μ œκ³΅ν•©λ‹ˆλ‹€.

Cloud Object Storage Connector λ₯Ό μ‚¬μš©ν•˜μ—¬ IBM CLOUD OBJECT STORAGEμ—μ„œ μ“°κΈ° μž‘μ—…μ„ μˆ˜ν–‰ν•˜λŠ” μƒ˜ν”Œ μ‚¬μš© 사둀λ₯Ό μ—¬κΈ°μ—μ„œ 보여 μ€λ‹ˆλ‹€. Β Datastage job μ—λŠ” Amazon S3 Connectorλ₯Ό source stage둜,Β  Cloud Object Storage Connectorλ₯Ό λŒ€μƒμœΌλ‘œ ν•˜λ©°, μ—¬κΈ°μ„œ Amazon S3의 λ°μ΄ν„°λŠ” IBM CLOUD OBJECT STORAGE에 μ €μž₯된 νŒŒμΌμ— κΈ°λ‘λ˜μ–΄ λ‹€μ–‘ν•œ ν΄λΌμš°λ“œ ν”Œλž«νΌμœΌλ‘œ 데이터λ₯Ό μ΄λ™ν•©λ‹ˆλ‹€.

이 λ ˆμ‹œν”Όμ—μ„œλŠ” Amazon S3μ—μ„œ IBM CLOUD OBJECT STORAGE에 데이터λ₯Ό 쓰도둝 IBM CLOUD OBJECT STORAGE ConnectorΒ  속성을 κ΅¬μ„±ν•˜λŠ” 방법을 보여 λ“œλ¦¬κ² μŠ΅λ‹ˆλ‹€.

2. Amazon S3 컀λ„₯ν„°λ₯Ό μ†ŒμŠ€λ‘œ ꡬ성

1) λ‹€μŒκ³Ό 같이 Amazon S3 Connector 의 μ—°κ²° 속성에 μ•„λ§ˆμ‘΄ S3 κ³„μ •μ˜ Access Key 및 Secret Key λ₯Ό 제곡 :

2) νŒŒμΌμ΄λ¦„ μ ‘λ‘μ‚¬λ‘œ μ‹œμž‘ν•˜λŠ” λͺ¨λ“  파일의 데이터λ₯Ό 읽으렀면 β€œRead Multiple Files” λ₯Ό μ„ νƒν•©λ‹ˆλ‹€.

3) 읽을 데이터가 μžˆλŠ” β€˜Bucket name’  κ³ΌΒ  β€˜file name’ 을 μ œκ³΅ν•©λ‹ˆλ‹€.

4) 이 경우 Delimited 파일 ν˜•μ‹μ„ μ„ νƒν•©λ‹ˆλ‹€.

3. CLOUD OBJECT STORAGE Connector 속성을 κ΅¬μ„±ν•˜μ—¬ IBM CLOUD OBJECT STORAGE 에 μ“°κΈ°

1) Connection 속성에 IBM CLOUD OBJECT STORAGE κ³„μ •μ˜ Login URL, Access Key 및Secret Key μ œκ³΅ν•©λ‹ˆλ‹€

2) Resource Instance ID, API Key, Region 및 IAM URL을 μ œκ³΅ν•˜μ—¬ Resource Instance ID μ‚¬μš©μ„ 예둜 μ„ νƒν•˜μ—¬ IBM CLOUD OBJECT STORAGE 에 μ—°κ²°ν•  μˆ˜λ„ μžˆμŠ΅λ‹ˆλ‹€.

3) Write Mode λ₯Ό Β “μ“°κΈ°”둜 μ„ νƒν•˜κ³  νŒŒμΌμ„ μž‘μ„±ν•΄μ•Ό ν•˜λŠ” Bucket name 을 Β μ œκ³΅ν•©λ‹ˆλ‹€. Bucket 이 IBM CLOUD OBJECT STORAGE 에 아직 μ—†λŠ” 경우 Β Create Bucket Β μ˜΅μ…˜μ„ “예”둜 μ„ νƒν•˜μ—¬ μž‘μ—… μ‹€ν–‰ 쀑에 Bucket 을 λ§Œλ“€ 수 μžˆμŠ΅λ‹ˆλ‹€.

4) Amazon S3μ—μ„œ 데이터λ₯Ό μž‘μ„±ν•΄μ•Ό ν•˜λŠ” File Name 속성을 μ œκ³΅ν•©λ‹ˆλ‹€.

5) κ΅¬λΆ„λœ File format 을 Β μ„ νƒν•©λ‹ˆλ‹€. ν˜„μž¬ 6개의 파일 ν˜•μ‹μ΄ μ§€μ›λ©λ‹ˆλ‹€: Β Delimited, CSV, Parquet, Avro, JSON, Excel.

λͺ¨λ“  파일 ν˜•μ‹μ€ μš”κ΅¬ 사항에 따라 선택할 수 μžˆμŠ΅λ‹ˆλ‹€.

6) 파일 ν˜•μ‹μ„ μ„ νƒν•˜λ©΄ μ‚¬μš© μš”κ΅¬ 사항에 따라 delimiters, quotation mark λ“±κ³Ό 같은 선택적 μ„œμ‹ 속성을 μ œκ³΅ν•  수 μžˆμŠ΅λ‹ˆλ‹€.

4. μ°Έμ‘°

https://www.ibm.com/support/knowledgecenter/SSZJPZ_11.5.0/com.ibm.swg.im.iis.conn.s3.usage.doc/topics/t_configuring_s3_read.html

https://www.ibm.com/cloud/object-storage

https://www.ibm.com/support/knowledgecenter/SSZJPZ_11.7.0/com.ibm.swg.im.iis.conn.cloudobject.usage.doc/topics/specifying_write_mode_cld.html