이번 λ‹¨κ³„μ—μ„œλŠ” 휴먼 μ• λ…Έν…Œμ΄ν„°(Human Annotator)둜써 ν• λ‹Ήλœ λ¬Έμ„œμ— μ• λ…Έν…Œμ΄μ…˜(Annotation) μž‘μ—…μ„ μˆ˜ν–‰ν•©λ‹ˆλ‹€.

전체 μ‹€μŠ΅μ€ λ‹€μŒμ˜ μˆœμ„œλ‘œ μ§„ν–‰λ©λ‹ˆλ‹€.
β€’ Exercise 01: ν”„λ‘œμ νŠΈ 생성, νƒ€μž… μ‹œμŠ€ν…œ 생성 및 μˆ˜μ •
β€’ Exercise 02: 기계 ν•™μŠ΅μš© 자료(Training Corpus) μ—…λ‘œλ“œ
β€’ Exercise 03: λ”•μ…”λ„ˆλ¦¬ μ• λ…Έν…Œν‹°ν„°(Dictionary Annotator) 생성 및 사전 μ• λ…Έν…Œμ΄μ…˜(Pre-annotation)
β€’ Exercise 04: 언어적 κ·œμΉ™(Linguistic Rule)을 μ‚¬μš©ν•œ 사전 μ• λ…Έν…Œμ΄μ…˜(Pre-annotation)
β€’ Exercise 05: 휴먼 μ• λ…Έν…Œμ΄μ…˜(Human annotation) νƒœμŠ€ν¬ 생성
β€’ Exercise 06: 휴먼 μ• λ…Έν…Œμ΄μ…˜(Human annotation)
β€’ Exercise 07: 판결(Adjudication)

λͺ©ν‘œ

이 λ‹¨κ³„μ—μ„œλŠ” λ‹€μŒμ„ μˆ˜ν–‰ν•©λ‹ˆλ‹€.
– 휴먼 μ• λ…Έν…Œμ΄ν„°(Human Annotator)μ—κ²Œ ν• λ‹Ήλœ λ¬Έμ„œμ— μ–ΈκΈ‰(Mentions), 동일 μ§€μ‹œμ–΄(co-references), 관계(Relations)에 λŒ€ν•΄ μ• λ…Έν…Œμ΄μ…˜ μž‘μ—…μ„ μˆ˜ν–‰ν•©λ‹ˆλ‹€.

μ• λ…Έν…Œμ΄μ…˜ κ°€μ΄λ“œλΌμΈμ„ 따라 μˆ˜ν–‰ν•˜μ‹­μ‹œμ˜€. 이 단계λ₯Ό 마치면 λ¨Έμ‹  λŸ¬λ‹ λͺ¨λΈμ„ ν•™μŠ΅μ‹œν‚€κΈ° μœ„ν•œ λ¬Έμ„œμ— μ• λ…Έν…Œμ΄μ…˜μ„ μˆ˜ν–‰ν•  수 μžˆμŠ΅λ‹ˆλ‹€.

단계

λ¨Όμ € μ—”ν‹°ν‹° νƒ€μž…μ— λŒ€ν•΄ μ• λ…Έν…Œμ΄μ…˜ ν•˜κ² μŠ΅λ‹ˆλ‹€. Document Annotation > Mentions둜 μ΄λ™ν•©λ‹ˆλ‹€. 이전 λ‹¨κ³„μ—μ„œ μƒμ„±ν•œ νƒœμŠ€ν¬λ₯Ό μ„ νƒν•©λ‹ˆλ‹€. 아직 μ™„λ£Œν•˜μ§€ μ•Šμ€ λ¬Έμ„œλ₯Ό μ„ νƒν•©λ‹ˆλ‹€. λ‹€μŒ ν™”λ©΄μ²˜λŸΌ Annotation 화면이 λ³΄μ—¬μ§‘λ‹ˆλ‹€.

5.1 Mentions μ• λ…Έν…Œμ΄μ…˜

처음 Default둜 λ‚˜μ˜€λŠ” 것은 Mentions μž…λ‹ˆλ‹€. Mention을 ν‘œκΈ°ν•  λ•Œμ—λŠ” λ‹¨μ–΄λ‚˜ 문ꡬλ₯Ό ν΄λ¦­ν•˜μ—¬ μ„ νƒν•˜κ³  우츑 νŒ¨λ„μ—μ„œ ν•΄λ‹Ή μ—”ν‹°ν‹°(Entity)λ₯Ό ν΄λ¦­ν•˜λ©΄ λ©λ‹ˆλ‹€. Mention을 Annotationν•  λ•Œμ—λŠ” κ°€λŠ₯ν•œ λͺ¨λ“  Mention에 λŒ€ν•΄ ν‘œκΈ°ν•˜λ„λ‘ μ£Όμ˜ν•˜μ‹­μ‹œμ˜€. μ—¬λŸ¬ Human Annotator 간에 일관성을 μ œμ‹œν•˜κ³  λͺ¨ν˜Έμ„±μ„ μ œκ±°ν•˜κΈ° μœ„ν•΄ κ°€μ΄λ“œλΌμΈμ„ κ³΅μœ ν•©λ‹ˆλ‹€.

팁: λ§Œμ•½ νƒ€μž…μ„ 잘λͺ» μ„ νƒν–ˆλ‹€λ©΄ ν•˜μ΄λΌμ΄νŠΈλœ ν…μŠ€νŠΈλ₯Ό λ‹€μ‹œ μ„ νƒν•˜κ³  λ§žλŠ” νƒ€μž…μœΌλ‘œ λ³€κ²½ν•©λ‹ˆλ‹€. λ§Œμ•½ ν‘œκΈ° 자체λ₯Ό μ‚­μ œν•˜κ³  μ‹ΆμœΌλ©΄ ν•˜μ΄λΌμ΄νŠΈλœ ν…μŠ€νŠΈλ₯Ό μ„ νƒν•œ μƒνƒœμ—μ„œ delete λ²„νŠΌμ„ λˆ„λ¦…λ‹ˆλ‹€. Ctrl + z λ₯Ό λˆ„λ₯΄λ©΄ λ°”λ‘œ 이전에 μˆ˜ν–‰ν•œ μž‘μ—…μ΄ μ·¨μ†Œλ©λ‹ˆλ‹€.

우츑 상단에 Save λ²„νŠΌμ΄ μžˆμŠ΅λ‹ˆλ‹€. μž‘μ—…μ€‘μΈ λ‚΄μš©μ„ μ €μž₯ν•˜λ €λ©΄ Save λ²„νŠΌμ„ λˆŒλŸ¬μ•Ό ν•©λ‹ˆλ‹€.

Mention에 λŒ€ν•΄ Role을 ν‘œκΈ°ν•˜λ €λ©΄ Mention을 μ„ νƒν•˜κ³  μš°μΈ‘μ—μ„œ Role νƒ­μœΌλ‘œ μ΄λ™ν•˜λ©΄ ν•΄λ‹Ή Entity에 λŒ€ν•΄ 적용 κ°€λŠ₯ν•œ Role λͺ©λ‘μ΄ λ³΄μ—¬μ§‘λ‹ˆλ‹€. 이 λͺ©λ‘μ—μ„œ Role을 μ„ νƒν•˜λ©΄ λ©λ‹ˆλ‹€.

νŽ˜μ΄μ§€ μƒλ‹¨μ˜ λ²„νŠΌλ“€μ— λŒ€ν•΄ λ‹€μŒμ„ μ°Έμ‘°ν•˜μ‹­μ‹œμ˜€.
β€’ 돋보기 μ•„μ΄μ½˜(View Details) : 이 λ²„νŠΌμœΌλ‘œ μžμ„Ένžˆ 보기λ₯Ό ν™œμ„±ν™” ν•˜λ©΄ ν‘œκΈ°ν•œ μ• λ…Έν…Œμ΄μ…˜ 상단에 λ©˜μ…˜μ˜ νƒ€μž…μ΄ λ³΄μ—¬μ§‘λ‹ˆλ‹€.
β€’ ν”ŒλŸ¬μŠ€ μ•„μ΄μ½˜/λ˜λŒμ•„κ°€κΈ° μ•„μ΄μ½˜(Add/Replace) : μ„ νƒλœ ν…μŠ€νŠΈμ— λŒ€ν•œ 포컀슀λ₯Ό κ΄€λ¦¬ν•©λ‹ˆλ‹€.
β€’ λ¬Έμ„œ μ•„μ΄μ½˜(Concordance) : ν•œ μ• λ…Έν…Œμ΄μ…˜μ— λŒ€ν•΄ νƒœμŠ€ν¬μ˜ λͺ¨λ“  λ¬Έμ„œμ— μ• λ…Έν…Œμ΄μ…˜μ„ μ „νŒŒμ‹œν‚¬ 수 μžˆμŠ΅λ‹ˆλ‹€. μž‘μ—…μ€‘μ΄λ˜ λ‚΄μš©μ„ μ €μž₯ν•œ 후에 μ „νŒŒμ‹œν‚€λ €λŠ” μ• λ…Έν…Œμ΄μ…˜μ„ μ„ νƒν•˜κ³  λ‚˜μ„œ 이 λ²„νŠΌμ„ λˆ„λ¦…λ‹ˆλ‹€.
β€’ 눈 μ•„μ΄μ½˜(Attribute View) : μ• λ…Έν…Œμ΄μ…˜ ν•œ ν…μŠ€νŠΈλ₯Ό μ„ νƒν•˜κ³  이 λ²„νŠΌμ„ λˆ„λ₯΄λ©΄ 이 λ©˜μ…˜μ— λŒ€ν•œ 속성 정보가 λ³΄μ—¬μ§‘λ‹ˆλ‹€.

1) λ‹€μŒκ³Ό 같이 κ°€λŠ₯ν•œ λͺ¨λ“  λ©˜μ…˜μ˜ μ—”ν‹°ν‹° νƒ€μž…μ— λŒ€ν•΄ μ• λ…Έν…Œμ΄μ…˜ ν•˜μ‹­μ‹œμ˜€.

2) λͺ¨λ“  λ©˜μ…˜μ˜ λ‘€μ—λŒ€ν•΄ μ• λ…Έν…Œμ΄μ…˜ ν•˜μ‹­μ‹œμ˜€.

3) 상황에 따라 ν•˜μœ„νƒ€μž…, λ©˜μ…˜μ˜ νƒ€μž… 및 ν΄λž˜μŠ€μ— λŒ€ν•΄μ„œλ„ μ• λ…Έν…Œμ΄μ…˜ ν•˜μ‹­μ‹œμ˜€.

4) λ‹€λ₯Έ λ¬Έμ„œμ—λ„ ν•œκΊΌλ²ˆμ— μ „νŒŒμ‹œν‚€κ³  싢은 μ• λ…Έν…Œμ΄μ…˜μ— λŒ€ν•΄ μž‘μ—…ν•©λ‹ˆλ‹€. 예λ₯Ό λ“€μ–΄ λͺ¨λ“  λ¬Έμ„œμ— “μš΄μ „μž”κ°€ μ–ΈκΈ‰λ˜λ©΄ μ‚¬λžŒ μ—”ν‹°ν‹° νƒ€μž…μœΌλ‘œ ν‘œκΈ°ν•˜κ² μŠ΅λ‹ˆλ‹€. 이 μž‘μ—…μ„ μˆ˜ν–‰ν•˜κΈ° 전에 μž‘μ—…ν•˜λ˜ λ¬Έμ„œλ₯Ό μ €μž₯ν•˜μ‹­μ‹œμ˜€.

– ν•΄λ‹Ή ν…μŠ€νŠΈ(“μš΄μ „μž”)λ₯Ό ν΄λ¦­ν•˜κ³  Concordance μ•„μ΄μ½˜μ„ ν΄λ¦­ν•©λ‹ˆλ‹€.

– λ‹€μŒκ³Ό 같은 νŒμ—…μ°½μ΄ 뜨면 Previewλ₯Ό ν΄λ¦­ν•©λ‹ˆλ‹€.

– Previewλ₯Ό κ²€ν† ν•˜κ³  Apply&Review λ²„νŠΌμ„ ν΄λ¦­ν•©λ‹ˆλ‹€.

– Go Back to Ground Truth Editor λ²„νŠΌμ„ 눌러 νŽΈμ§‘ ν™”λ©΄μœΌλ‘œ λŒμ•„μ˜΅λ‹ˆλ‹€.

5) λͺ¨λ“  λ¬Έμ„œμ— λŒ€ν•΄ 같은 μž‘μ—…μ„ λ°˜λ³΅ν•˜μ‹­μ‹œμ˜€.

5.2 Coreferences μ• λ…Έν…Œμ΄μ…˜

Mentions에 λŒ€ν•œ μ• λ…Έν…Œμ΄μ…˜ μž‘μ—…μ΄ λλ‚œ 후에 진행해야 ν•˜λŠ” λ‹¨κ³„μž…λ‹ˆλ‹€. μ™Όμͺ½ λ©”λ‰΄μ—μ„œ Doxument Annotation > Coreferencesλ₯Ό μ„ νƒν•œ 후에 μ§„ν–‰ν•˜μ‹­μ‹œμ˜€.

같은 엔티티에 ν•΄λ‹Ήν•˜λŠ” 단어λ₯Ό μ—°μ†ν•΄μ„œ ν΄λ¦­ν•©λ‹ˆλ‹€. λ§ˆμ§€λ§‰μœΌλ‘œ μ–ΈκΈ‰λœ λ‹¨μ–΄μ—μ„œ 더블클릭 ν•©λ‹ˆλ‹€. μ„ νƒλœ 단어듀에 숫자 ν‚€κ°€ ν• λ‹Ήλ˜μ–΄ μžˆμŠ΅λ‹ˆλ‹€. 같은 μ—”ν‹°ν‹°λ₯Ό κ°€λ¦¬ν‚€λŠ” μ§€μ‹œμ–΄λ“€μ΄ 같은 숫자둜 할당됨을 ν™•μΈν•˜μ‹­μ‹œμ˜€.

빼먹은 단어가 μžˆλ‹€λ©΄ 우츑 ν•˜λ‹¨μ˜ Single Mention Listμ—μ„œ ν•΄λ‹Ή 단어λ₯Ό ν΄λ¦­ν•˜μ—¬ μΆ”κ°€ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
λ‹€μŒ ν™”λ©΄μ—μ„œ ν•΄λ‹Ήν•˜λŠ” 번호λ₯Ό μ„ νƒν•˜κ³  Merge λ²„νŠΌμ„ λˆ„λ₯Έ ν›„ OK λ²„νŠΌμ„ λˆ„λ¦…λ‹ˆλ‹€.

5.3 Relations μ• λ…Έν…Œμ΄μ…˜

μ™Όμͺ½ λ©”λ‰΄μ—μ„œ Document Annotation > Relations λ₯Ό μ„ νƒν•©λ‹ˆλ‹€. κ΄€κ³„μ˜ 첫번째 엔티티에 ν•΄λ‹Ήν•˜λŠ” 단어와 λ‘λ²ˆμ§Έ 엔티티에 ν•΄λ‹Ήν•˜λŠ” 단어λ₯Ό μ—°μ†μœΌλ‘œ ν΄λ¦­ν•©λ‹ˆλ‹€. μš°μΈ‘μ—μ„œ 두 μ—”ν‹°ν‹° μ‚¬μ΄μ˜ 관계λ₯Ό μ„ νƒν•©λ‹ˆλ‹€.

1) occupantOf 관계 νƒ€μž…μ˜ μ˜ˆμ‹œμž…λ‹ˆλ‹€. λ‹€μŒκ³Ό 같이 μ°¨λŸ‰κ³Ό νƒ‘μŠΉμžμ˜ 관계λ₯Ό ν‘œκΈ°ν•©λ‹ˆλ‹€.

2) λ‹€μŒμ€ locatedOn 관계 νƒ€μž…μ— λŒ€ν•œ μ˜ˆμ‹œμž…λ‹ˆλ‹€. μ°¨λŸ‰ λΆ€ν’ˆκ³Ό μ°¨λŸ‰ μ‚¬μ΄μ˜ 관계λ₯Ό μ˜λ―Έν•©λ‹ˆλ‹€.

5.4 μ œμΆœν•˜κΈ°

λͺ¨λ“  λ¬Έμ„œμ— λŒ€ν•΄ μ• λ…Έν…Œμ΄μ…˜ μž‘μ—…μ„ μ™„λ£Œν•œ 후에 각 λ¬Έμ„œμ˜ μƒνƒœλ₯Ό Complete둜 ν‘œκΈ°ν•œ ν›„ μ €μž₯(Save)ν•©λ‹ˆλ‹€.
λͺ¨λ“  λ¬Έμ„œμ˜ μƒνƒœκ°€ Completeκ°€ 되면 Task1의 DocumentSet의 μƒνƒœκ°€ In Progressμ—μ„œ Submitted둜 λ³€κ²½λ©λ‹ˆλ‹€. ν•œλ²ˆ Submit ν•˜λ©΄ 휴먼 μ• λ…Έν…Œμ΄ν„°λŠ” 더이상 λ¬Έμ„œλ₯Ό μˆ˜μ •ν•  수 μ—†μŠ΅λ‹ˆλ‹€. 이제 이 λ¬Έμ„œλ₯Ό λ¦¬λ·°ν•˜κ³  λ¬Έμ„œ κ°„μ˜ μ• λ…Έν…Œμ΄μ…˜μ„ νŒκ²°ν•˜κ³  μŠΉλ½ν•˜κ±°λ‚˜ κ±°μ ˆν•˜λŠ” 것은 ν”„λ‘œμ νŠΈ λ§€λ‹ˆμ €μ˜ μ—­ν• μž…λ‹ˆλ‹€. μ• λ…Έν…Œμ΄μ…˜μ΄ ν”„λ‘œμ νŠΈ λ§€λ‹ˆμ €μ— μ˜ν•΄ 승락되면 ν•΄λ‹Ή λ¬Έμ„œλŠ” Ground Truth둜 μŠΉκΈ‰λ©λ‹ˆλ‹€.

λ‘λ²ˆμ§Έ DocSet에 λŒ€ν•΄μ„œλ„ μ• λ…Έν…Œμ΄μ…˜μ„ ν•˜μ‹­μ‹œμ˜€. ν”„λ‘œμ νŠΈ λ§€λ‹ˆμ €κ°€ μ• λ…Έν…Œμ΄μ…˜μ„ νŒκ²°ν•˜λ„λ‘ μΆ©λŒμ„ μΌμœΌν‚€λ €λ©΄ μ€‘λ³΅λœ λ¬Έμ„œμ—μ„œ μΌλΆ€λŸ¬ 차이λ₯Ό λ§Œλ“€μ–΄ λ‚΄μ‹­μ‹œμ˜€. 이 차이가 μžˆμ–΄μ•Ό λ‹€μŒ 단계λ₯Ό 진행할 수 μžˆμŠ΅λ‹ˆλ‹€ :-)

λ‹€μ„―λ²ˆμ§Έ 단계인 휴먼 μ• λ…Έν…Œμ΄μ…˜λ„ λ§ˆμΉ˜μ…¨μŠ΅λ‹ˆλ‹€.
λ‹€μŒ λ‹¨κ³„λŠ” Exercise 06: 판결(Adjudication)μž…λ‹ˆλ‹€.

ν† λ‘  μ°Έκ°€

이메일은 κ³΅κ°œλ˜μ§€ μ•ŠμŠ΅λ‹ˆλ‹€. ν•„μˆ˜ μž…λ ₯창은 * 둜 ν‘œμ‹œλ˜μ–΄ μžˆμŠ΅λ‹ˆλ‹€.