ํ…์ŠคํŠธ ๋ถ„์„์€ ๋‹จ์ˆœํ•œ ๋นˆ๋„ ๋ถ„์„์„ ๋„˜์–ด ์˜๋ฏธ ์žˆ๋Š” ์ธ์‚ฌ์ดํŠธ๋ฅผ ๋ฐœ๊ตดํ•˜๊ธฐ ์œ„ํ•œ ๋ชฉ์ ์œผ๋กœ ์ ์  ๋” ๋งŽ์€ ๊ธฐ์—…๋“ค์ด ํ™œ์šฉํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.
์ด 6 ๋ฒˆ์˜ ํฌ์ŠคํŒ…์„ ํ†ตํ•ด IBM์˜ Watson Explorer๋ฅผ ํ™œ์šฉํ•œ Text Mining ๋ฐฉ๋ฒ•์„ ์‹ค๋ฐ์ดํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์†Œ๊ฐœํ•˜๊ณ ์ž ํ•ฉ๋‹ˆ๋‹ค.

1. Text Mining ๊ฐœ์š”
2. ์ˆ˜์ง‘ ๋ฐ์ดํ„ฐ ๋ฐ Annotation ํ•ญ๋ชฉ
3. WEX Content Analytics ์ดํ•ด
4. ๋ถ„์„ ์˜ˆ์ œ 1
5. ๋ถ„์„ ์˜ˆ์ œ 2
6. ๋ถ„์„ ์˜ˆ์ œ 3

Text Mining ๊ฐœ์š”

์˜ค๋Š˜๋‚  ๊ธฐ์—…์˜ ๋‚ด๋ถ€ ๋ฐ ์™ธ๋ถ€ ๋ฐ์ดํ„ฐ๋Š” ์ง€์†์ ์œผ๋กœ ์ฆ๊ฐ€ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ํŠนํžˆ ๋น„์ •ํ˜• ๋ฐ์ดํ„ฐ์˜ ์ฆ๊ฐ€ ์†๋„๋Š” ๋งค๋…„ 90% ์ด์ƒ ์ฆ๊ฐ€ํ•˜๊ณ  ์žˆ์œผ๋ฉฐ 80% ์ด์ƒ์˜ ๋น„์ค‘์„ ์ฐจ์ง€ํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.
๊ธฐ์—…์—์„œ ์˜๋ฏธ ์žˆ๋Š” ์ธ์‚ฌ์ดํŠธ๋ฅผ ๋ฐœ๊ฒฌํ•˜๊ฑฐ๋‚˜, ์˜์‚ฌ ๊ฒฐ์ •์„ ์œ„ํ•ด ํ™œ์šฉ๋˜์ง€ ์•Š๋Š” ๋ฐ์ดํ„ฐ๋ฅผ โ€˜Dark Dataโ€™ ๋ผ๊ณ ๋„ ํ•ฉ๋‹ˆ๋‹ค. โ€˜Dark Dataโ€™๋ฅผ โ€˜Useful Dataโ€™๋กœ ๋งŒ๋“œ๋Š” ๊ฒƒ์€ ๊ธฐ์—…์—๊ฒŒ ๋งค์šฐ ๋งŽ์€ ๊ธฐํšŒ๋ฅผ ์ œ๊ณตํ•˜๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.
์ตœ๊ทผ์— ๋งŽ์€ ๊ธฐ์—…๋“ค์ด ์†Œ์…œ ๋ฏธ๋””์–ด๋‚˜ e-Market ์‚ฌ์ดํŠธ์—์„œ ์–ธ๊ธ‰๋˜๋Š” ๋ธŒ๋žœ๋“œ ๋ฐ ์ œํ’ˆ์— ๋Œ€ํ•œ ์†Œ๋น„์ž๋“ค์˜ ๋ฐ˜์‘, ์ฝœ์„ผํ„ฐ์— ์ ‘์ˆ˜๋˜๋Š” ๊ณ ๊ฐ์˜ VoC, ์ œ์กฐ ํ˜„์žฅ์—์„œ ์ƒ์„ฑ๋˜๋Š” ์ˆ˜๋งŽ์€ ๋กœ๊ทธ ๋ฐ ๊ธฐ๋ก ๋“ฑ ๋‹ค์–‘ํ•œ ํ…์ŠคํŠธ ๋ฐ์ดํ„ฐ๋กœ๋ถ€ํ„ฐ ์˜๋ฏธ ์žˆ๋Š” ์ธ์‚ฌ์ดํŠธ๋ฅผ ์–ป๊ธฐ ์œ„ํ•ด ๋…ธ๋ ฅํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

์ผ๋ฐ˜์ ์œผ๋กœ ํ…์ŠคํŠธ ๋ฐ์ดํ„ฐ ๋ถ„์„์„ ์œ„ํ•ด์„œ๋Š” ๋‹ค์Œ์˜ ์„ธ ๋‹จ๊ณ„๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

์ฒซ๋ฒˆ์งธ ๋‹จ๊ณ„๋Š” โ€œAcquireโ€ ๋‹จ๊ณ„์ž…๋‹ˆ๋‹ค.

์ด ๋‹จ๊ณ„์—์„œ๋Š” ๋ถ„์„ ๋ชฉ์ ์— ๋งž๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ์—…์˜ ๋‚ด๋ถ€ ๋˜๋Š” ์™ธ๋ถ€์˜ ๋น„์ •ํ˜• ๋ฐ์ดํ„ฐ๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ์ •ํ˜• ๋ฐ์ดํ„ฐ๋ฅผ ํ•จ๊ป˜ ์ˆ˜์ง‘ํ•˜๊ณ  ๋ถ„์„ ๋ชฉ์ ์— ๋งž๊ฒŒ ๊ฐ€๊ณตํ•ฉ๋‹ˆ๋‹ค. ๋‹ค์–‘ํ•œ ๋ฐ์ดํ„ฐ ์ค‘์—์„œ ์–ด๋–ค ๋ฐ์ดํ„ฐ๊ฐ€ ๋ถ„์„๋ชฉ์ ์— ์ ํ•ฉํ•œ์ง€๋ฅผ ํŒ๋‹จํ•˜๋Š” ๊ฒƒ์€ ๋งค์šฐ ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค. ๊ฐ€๋ น, ๋งŽ์€ ์‚ฌ์ดํŠธ ์ค‘์—์„œ ์–ด๋–ค ์‚ฌ์ดํŠธ๋ฅผ ๋Œ€์ƒ์œผ๋กœ ํฌ๋กค๋ง ํ•  ๊ฒƒ์ธ์ง€ ๋˜๋Š” ์–ด๋–ค ํ‚ค์›Œ๋“œ๋ฅผ ํฌํ•จํ•œ ๋ฌธ์„œ๋ฅผ ์ถ”์ถœํ•˜๋Š” ๊ฒƒ์ด ์˜๋ฏธ ์žˆ๋Š” ๋ถ„์„์ด ๋ ์ง€๋ฅผ ์‚ฌ์ „์— ๊ฒ€ํ† ํ•˜๊ณ  ์ˆ˜์ง‘ํ•ฉ๋‹ˆ๋‹ค.

๋‘๋ฒˆ์งธ ๋‹จ๊ณ„๋Š” โ€œEnrichโ€ ๋‹จ๊ณ„์ž…๋‹ˆ๋‹ค.

์ด ๋‹จ๊ณ„๋Š” Unstructured ์ƒํƒœ์˜ ํ…์ŠคํŠธ๋ฅผ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ, ํ†ต๊ณ„ ๋˜๋Š” ๋จธ์‹  ๋Ÿฌ๋‹ ๋“ฑ์˜ ๊ธฐ์ˆ ์„ ํ™œ์šฉํ•˜์—ฌ ๋ถ„์„ ๊ฐ€๋Šฅํ•œ Structured ํ˜•ํƒœ๋กœ ๋งŒ๋“œ๋Š” ๊ณผ์ •์ž…๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด, ํŠน์ • ๋‹จ์–ด์— ๋Œ€ํ•ด ์ด ๋‹จ์–ด์˜ ํ’ˆ์‚ฌ๊ฐ€ ๋ฌด์—‡์ธ์ง€, ์ฃผ์–ด ๋˜๋Š” ๋ชฉ์ ์–ด ๋“ฑ์˜ ๋ฌธ์žฅ ์„ฑ๋ถ„์€ ๋ฌด์—‡์ธ์ง€, ์ธ๋ฌผ, ์ง€์—ญ๊ณผ ๊ฐ™์€ ๊ฐœ์ฒด ๋ช…(Named Entity)์— ํ•ด๋‹น๋˜๋Š”์ง€, ๊ธ.๋ถ€์ •๊ณผ ๊ฐ™์€ ๊ฐ์ •์„ ํ‘œํ˜„ํ•˜๋Š” ๋‹จ์–ด์ธ์ง€ ๋“ฑ์„ ์ธ์‹ํ•ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ ๋ฌธ์„œ ๋ ˆ๋ฒจ์—์„œ ์ฃผ์ œ ๋˜๋Š” ์˜์—ญ์„ ๋ถ„๋ฅ˜ํ•œ ๊ฒฐ๊ณผ ๊ฐ’์„ ๋„์ถœํ•˜๊ธฐ๋„ ํ•ฉ๋‹ˆ๋‹ค. ์ด์ฒ˜๋Ÿผ ๋‹จ์–ด ๋˜๋Š” ๋ฌธ์„œ์— ๋Œ€ํ•ด ๋ถ€๊ฐ€์ ์ธ ์ •๋ณด๋ฅผ ๋”ํ•˜๋Š” ๋‹จ๊ณ„๋กœ์„œ ์ฃผ์„(Annotation)์„ ๋‹จ๋‹ค๊ณ ๋„ ํ•ฉ๋‹ˆ๋‹ค.

์„ธ๋ฒˆ์งธ ๋‹จ๊ณ„๋Š” โ€œAnalyzeโ€ ๋‹จ๊ณ„์ž…๋‹ˆ๋‹ค.

์ด ๋‹จ๊ณ„๋Š” enrich ๋œ ๋ฐ์ดํ„ฐ๋ฅผ ๋Œ€์ƒ์œผ๋กœ ํ…์ŠคํŠธ ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ•˜๊ธฐ ์œ„ํ•œ ๋นˆ๋„ ๋ถ„์„, ์ƒ๊ด€ ๋ถ„์„, ํŠธ๋ Œ๋“œ ๋ถ„์„ ๋“ฑ์˜ ์—ฌ๋Ÿฌ ๋ถ„์„ ๊ธฐ๋ฒ•์„ ํ™œ์šฉํ•˜์—ฌ ์ธ์‚ฌ์ดํŠธ๋ฅผ ๋„์ถœํ•˜๋Š” ๊ณผ์ •์ž…๋‹ˆ๋‹ค. ๋Œ€๋ถ€๋ถ„์˜ ๊ฒฝ์šฐ ์—ฌ๋Ÿฌ ๋ถ„์„ ๊ธฐ๋ฒ•๋“ค์„ ์กฐํ•ฉํ•จ์œผ๋กœ ์˜๋ฏธ ์žˆ๋Š” ์ธ์‚ฌ์ดํŠธ๋ฅผ ์–ป๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. ๊ฐ ๋ถ„์„ ๊ธฐ๋ฒ•์— ๋Œ€ํ•ด์„œ๋Š” ๋ถ„์„ ์˜ˆ์ œ๋ฅผ ํ†ตํ•ด ์ดํ›„ ํฌ์ŠคํŒ…์—์„œ ์ž์„ธํžˆ ์„ค๋ช…ํ•˜๋„๋ก ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค.

๋ณธ ์‹œ๋ฆฌ์ฆˆ์—์„œ๋Š” ์ด ์„ธ๋ฒˆ์งธ ๋‹จ๊ณ„์— ๋Œ€ํ•˜์—ฌ ์ฃผ๋กœ ์†Œ๊ฐœ๋ฅผ ํ•˜๊ณ ์ž ํ•˜๋ฉฐ, IBM์˜ ์ž์—ฐ์–ด ์ฒ˜๋ฆฌ ๋ฐ ๋ถ„์„ ๋„๊ตฌ์ธ Watson Explorer(WEX)๋ฅผ ์‚ฌ์šฉํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค.

๋‹ค์Œ ์„ธ์…˜์—์„œ๋Š” Acquire ๋‹จ๊ณ„์—์„œ ์ˆ˜์ง‘ํ•œ ๋ฐ์ดํ„ฐ, Enrich ๋‹จ๊ณ„์—์„œ annotation ํ•œ ํ•ญ๋ชฉ์— ๋Œ€ํ•ด ์„ค๋ช…ํ•˜๋„๋ก ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค.

ํ† ๋ก  ์ฐธ๊ฐ€

์ด๋ฉ”์ผ์€ ๊ณต๊ฐœ๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ํ•„์ˆ˜ ์ž…๋ ฅ์ฐฝ์€ * ๋กœ ํ‘œ์‹œ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค.