* ์ด ํฌ์ŠคํŒ…์€ ์•„๋ž˜ ์›๋ฌธ์„ ๋ฒˆ์—ญํ•œ ํฌ์ŠคํŒ…์ž…๋‹ˆ๋‹ค. ํฌ์ŠคํŒ…์˜ ๊ฒŒ์‹œ ์‹œ์ ๊ณผ ๋ฒˆ์—ญ ์‹œ์ ์ด ์ผ์น˜ํ•˜์ง€ ์•Š์Œ์„ ์‚ฌ์ „์— ๋ฐํž™๋‹ˆ๋‹ค.
์›๋ฌธ: Introducing deep learning and long-short term memory networks https://www.ibm.com/developerworks/analytics/library/iot-deep-learning-anomaly-detection-1/index.html

* ๋ณธ ํฌ์ŠคํŒ…์€ ๋”ฅ๋Ÿฌ๋‹์˜ ํŠน์ˆ˜์„ฑ์— ๊ธฐ์ธํ•˜์—ฌ ๊ธฐ์ˆ  ์šฉ์–ด์— ํ•œํ•ด์„œ ์˜๋ฌธํ‘œ๊ธฐ๋ฅผ ๊ทธ๋Œ€๋กœ ๋”ฐ๋ž์Šต๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด ‘long-short term memory networks’๋ฅผ ‘์žฅ๊ธฐ-๋‹จ๊ธฐ ๋ฉ”๋ชจ๋ฆฌ ๋„คํŠธ์›Œํฌ’๋กœ ํ‘œ๊ธฐํ•˜์ง€ ์•Š์•˜์Šต๋‹ˆ๋‹ค.

Content series:
‘๋”ฅ๋Ÿฌ๋‹๊ณผ LSTM ๋„คํŠธ์›Œํฌ ์†Œ๊ฐœ’๋Š” ‘๋”ฅ๋Ÿฌ๋‹์„ ์‚ฌ์šฉํ•œ IoT ์‹œ๊ณ„์—ด ๋ฐ์ดํ„ฐ์˜ ์ด์ƒ ๊ฒ€์ถœ’์˜ ์—ฐ์žฌ ํฌ์ŠคํŒ… ์ค‘ ์ฒซ๋ฒˆ์งธ ํฌ์ŠคํŒ…์ž…๋‹ˆ๋‹ค. ๋ณธ ์—ฐ์žฌ ํฌ์ŠคํŒ…์€ ์ด 5๊ฐœ์˜ ํฌ์ŠคํŒ…์œผ๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค.

ํžˆ๋“  ๋ ˆ์ด์–ด์— ๋Œ€ํ•ด ๊นŠ๊ฒŒ ์•Œ์•„๋ณด๊ธฐ

ํžˆ๋“  ๋ ˆ์ด์–ด์˜ ์š”์ ์€ ๋ฌด์—‡์ผ๊นŒ์š”? ๋ฐ”๋กœ ๊ฐ ๊ณ„์ธต์„ ๊ฐœ๋ณ„ ๋จธ์‹ ๋Ÿฌ๋‹ ์•Œ๊ณ ๋ฆฌ์ฆ˜์œผ๋กœ ๋ณผ ์ˆ˜ ์žˆ๋‹ค๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์—…์ŠคํŠธ๋ฆผ ๋ ˆ์ด์–ด์˜ ์ถœ๋ ฅ์€ ์ž…๋ ฅ์œผ๋กœ ์‚ฌ์šฉ๋˜๋ฉฐ ์ถœ๋ ฅ์€ ๋‹ค์Œ ๋ ˆ์ด์–ด๋กœ ์ „๋‹ฌ๋˜์–ด ๊ทธ ๋‹ค์Œ ๋ ˆ์ด์–ด๋กœ ์ž…๋ ฅ๋ฉ๋‹ˆ๋‹ค. ์ด ๋™์ž‘์€ ๋ ˆ์ด์–ด๋ฅผ ์Œ“๊ณ  ์‹ฌ์ธต ์‹ ๊ฒฝ๋ง์„ ๋งŒ๋“ค ๋•Œ ๋‹ค์šด ์ŠคํŠธ๋ฆผ ๋ ˆ์ด์–ด์˜ ์„ฑ๋Šฅ์„ ํ–ฅ์ƒ์‹œํ‚ค๋Š” ๋ฐ ๋„์›€์ด๋˜๋Š” ์ค‘๊ฐ„ ๋ฐ์ดํ„ฐ๋ฅผ ํ•™์Šตํ•œ๋‹ค๋Š” ๊ฒƒ์„ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค. ๊ฐ€์žฅ ์œ ์‚ฌํ•œ ์˜ˆ๋Š” ์ธ๊ฐ„ ๋‘๋‡Œ์˜ ์‹œ๊ฐ ์‹œ์Šคํ…œ์ž…๋‹ˆ๋‹ค. ์ฒซ ๋ฒˆ์งธ ๋ ˆ์ด์–ด (๋‹น์‹ ์˜ ๊ฐ๋ง‰ ๋ฐ”๋กœ ๋‹ค์Œ์— ์žˆ๋Š” ๊ฒƒ๋“ค)๋Š” ์–ผ๊ตด, ์ž๋™์ฐจ ๋ฐ ๊ณ ์–‘์ด๋ฅผ ์ธ์‹ํ•˜์ง€ ์•Š์ง€๋งŒ ์„ , ์›, ์ง์‚ฌ๊ฐํ˜• ๋ฐ ์ ๊ณผ ๊ฐ™์€ ๋ชจ์–‘์„ ์ธ์‹ํ•ฉ๋‹ˆ๋‹ค. ๋” ๊นŠ์ด ๋“ค์–ด๊ฐ€๋ฉด ๋ ˆ์ด์–ด๊ฐ€ ์ธ์‹ ํ•  ์ˆ˜์žˆ๋Š” ๊ฒƒ๋ณด๋‹ค ๋งŽ์€ ์ด๋ฏธ์ง€๋ฅผ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ฒฐ๋ก ์ ์œผ๋กœ ๋”ฅ ํ”ผ๋“œ ํฌ์›Œ๋“œ (deep-feed-forward) ์‹ ๊ฒฝ๋ง์€ ์ˆ˜ํ•™์  ํ•จ์ˆ˜(์ถฉ๋ถ„ํ•œ ๋ฐ์ดํ„ฐ๊ฐ€ ์ฃผ์–ด์ง€๊ณ  ๊ทธ๊ฒƒ์„ ํ›ˆ๋ จ์‹œํ‚ค๋Š” ์ปดํ“จํŒ… ํŒŒ์›Œ๊ฐ€ ์žˆ๋‹ค๋ฉด)๋ฅผ ๋ฐฐ์šธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์‹œ๊ณ„์—ด ๋ฐ์ดํ„ฐ์—๋Š” long-short term ๋ฉ”๋ชจ๋ฆฌ ๋„คํŠธ์›Œํฌ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

๋ฐ”๋ผ๊ฑด๋Œ€ ์šฐ๋ฆฌ๊ฐ€ ํ•จ๊ป˜ ๊ฒ€ํ† ํ•œ ๋‚ด์šฉ๋“ค๋กœ ์ธํ•ด ๋‹น์‹ ์€ ์‹ ๊ฒฝ๋ง์ด ๋งค์šฐ ๊ฐ•๋ ฅํ•˜๋‹ค๊ณ  ํ™•์‹ ํ•˜๊ณ  ์žˆ์„ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ๋ถˆํ–‰ํžˆ๋„ ์‹œ๊ณ„์—ด ๋ฐ์ดํ„ฐ (IoT ๋ฐ์ดํ„ฐ๋Š” ์ฃผ๋กœ ์‹œ๊ณ„์—ด ๋ฐ์ดํ„ฐ์ž„)์— ์žˆ์–ด์„œ๋Š” ํ”ผ๋“œ ํฌ์›Œ๋“œ ๋„คํŠธ์›Œํฌ๋ฅผ ์‚ฌ์šฉํ•˜๊ธฐ ์–ด๋ ต์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ๋„คํŠธ์›Œํฌ๋Š” ๋ฉ”๋ชจ๋ฆฌ๋ฅผ ๋ณด์œ ํ•˜์ง€ ์•Š๊ธฐ ๋•Œ๋ฌธ์— ์‹œํ€€์Šค๋ฅผ ์ธ์‹ํ•˜๋Š” ๋ฐ ์ข‹์ง€ ์•Š๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค. ์ด ๋ฌธ์ œ์˜ ํ•œ ๊ฐ€์ง€ ํ•ด๊ฒฐ์ฑ…์€ ํ”ผ๋“œ๋ฐฑ ๋ฃจํ”„๋ฅผ ์ถ”๊ฐ€ํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค.

๊ทธ๋ฆผ 7. ํ”ผ๋“œ๋ฐฑ ๋ฃจํ”„

์ด๋Ÿฌํ•œ ํ”ผ๋“œ๋ฐฑ ๋ฃจํ”„๋Š” ์ด์ œ ๋„คํŠธ์›Œํฌ์— ๋ฉ”๋ชจ๋ฆฌ ์œ ๋‹›์„ ์‚ฌ์šฉํ•˜๊ธฐ ๋•Œ๋ฌธ์— ํ”ผ๋“œ ํฌ์›ŒํŠธ ๋„คํŠธ์›Œํฌ ์ƒ์—์„œ ๋ ˆ์ด์–ด๊ฐ€ ๊นŠ์–ด์งˆ ์ˆ˜๋ก ๊ธฐ์–ตํ•˜์ง€ ๋ชปํ•˜๋Š” ๋ฌธ์ œ๋ฅผ ๋‹ค์†Œ ์ˆ˜์ •ํ•ฉ๋‹ˆ๋‹ค. ํ”ผ๋“œ๋ฐฑ ๋ฃจํ”„๋Š” ์‹œ๊ฐ„์ ์œผ๋กœ ๊ฐ€๊นŒ์šด ๋„คํŠธ์›Œํฌ์—๋Š” ์ž˜ ์ž‘๋™ํ•˜์ง€๋งŒ ๋” ๋จผ ์‹œ๊ฐ„์  ์‚ฌ๊ฑด์„ ๊ธฐ์–ตํ•˜๊ธฐ๋Š” ์–ด๋ ต์Šต๋‹ˆ๋‹ค. ๋•Œ๋ฌธ์— ๊ทธ๋ฆผ 8๊ณผ ๊ฐ™์ด LSTM (long-term term memory) ๋„คํŠธ์›Œํฌ๋ฅผ ์–ป๊ธฐ ์œ„ํ•ด ๋ฉ”๋ชจ๋ฆฌ ์…€์„ ๋‰ด๋Ÿฐ์— ์ถ”๊ฐ€ํ•ด์•ผํ•ฉ๋‹ˆ๋‹ค.

๊ทธ๋ฆผ 8. Long-short term ๋ฉ”๋ชจ๋ฆฌ ๋„คํŠธ์›Œํฌ

๋ชจ๋ธ ํŠธ๋ ˆ์ด๋‹์—๋Š” ์ปดํ“จํŒ… ํŒŒ์›Œ๊ฐ€ ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

LSTM ๋„คํŠธ์›Œํฌ์˜ ๋‹จ์ ์€ ๋ฌด์—‡์ผ๊นŒ์š”? ์‹ ๊ฒฝ๋ง์„ ์‚ฌ์šฉํ•  ๋•Œ ์ข‹์€ ์„ฑ๋Šฅ์„ ์–ป์œผ๋ ค๋ฉด ๋งŽ์€ ์–‘์˜ ๋ฐ์ดํ„ฐ์™€ ๋งŽ์€ ์ปดํ“จํŒ… ์„ฑ๋Šฅ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. ์ข‹์€ ์†Œ์‹์€ ํ˜„์žฌ ๊ทธ๋ž˜ํ”ฝ ์นด๋“œ(GPU)๊ฐ€ 2009 ๋…„์— ์žˆ์—ˆ๋˜ 16,000 ์ฝ”์–ด์˜ ํด๋Ÿฌ์Šคํ„ฐ์™€ ๋™์ผํ•œ ์ปดํ“จํŒ… ์„ฑ๋Šฅ์„ ๊ฐ€์ง€๊ณ  ์žˆ๋‹ค๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. IBM์€ ํ˜„์žฌ neuromorphic ์นฉ์„ IBM Watson Group์— ์ œ๊ณตํ•  ๋ชฉ์ ์œผ๋กœ ๋ฆด๋ฆฌ์ฆˆ ์ž‘์—…์ค‘์ž…๋‹ˆ๋‹ค. neuromorphic ์นฉ์€ ๋™์ผํ•œ ์ปดํ“จํŒ… ํŒŒ์›Œ๋ฅผ ๊ฐ€์ง€์ง€๋งŒ ์ „๋ ฅ์€ ๋‹จ 3 ์™€ํŠธ๋งŒ ์†Œ๋น„ํ•ฉ๋‹ˆ๋‹ค. ์ด๋Š” ํ–ฅํ›„ ์„ฑ๋Šฅ ํ–ฅ์ƒ ๋ฐ ์—๋„ˆ์ง€ ์ ˆ๊ฐ์˜ ์—ฌ์ง€๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค.

LSTM ๋„คํŠธ์›Œํฌ๋Š” ์–ด๋–ค ์•Œ๊ณ ๋ฆฌ์ฆ˜์ด๋ผ๋„ ๋ฐฐ์šธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์™œ ์ €๋Š” ์ฝ”๊ทธ๋„ˆํ‹ฐ๋ธŒ IoT ์†”๋ฃจ์…˜์— ๋Œ€ํ•ด ๋งํ•˜๋ฉด์„œ ์ด ๋ชจ๋“  ๊ฒƒ๋“ค์„ ๋งํ•˜๊ณ  ์žˆ์„๊นŒ์š”? LSTM ๋„คํŠธ์›Œํฌ๋Š” ํŠœ๋ง(Turing)๋จธ์‹  ์ž…๋‹ˆ๋‹ค. ์ด๊ฒƒ์€ LSTM ๋„คํŠธ์›Œํฌ๊ฐ€ ์ปดํ“จํ„ฐ๊ฐ€ ์ˆ˜ํ–‰ํ•  ์ˆ˜์žˆ๋Š” ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ํ•™์Šตํ•  ์ˆ˜ ์žˆ์Œ์„ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค. ์ตœ์‹ ์˜ ์•Œ๊ณ ๋ฆฌ์ฆ˜๊ณผ ๋Œ€์กฐ์ ์œผ๋กœ LSTM ๋„คํŠธ์›Œํฌ๋Š” ์‹œ๊ณ„์—ด ์˜ˆ์ธก ๋ฐ ์ฝ”๊ทธ๋„ˆํ‹ฐ๋ธŒ IoT์— ๊ด€ํ•œ ๋ชจ๋“  ๋ถ„์•ผ์˜ ์˜ˆ์™ธ ํƒ์ง€์— ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. ์ฝ”๊ทธ๋„ˆํ‹ฐ๋ธŒ IoT ์‘์šฉ ํ”„๋กœ๊ทธ๋žจ์—์„œ ๋‹น์‹ ์€ ์‚ฌ์ „์— ์กฐ์น˜๋ฅผ ์ทจํ•  ์‹œ์Šคํ…œ์˜ ์ƒํƒœ๋ฅผ ์˜ˆ์ธกํ•˜๊ฑฐ๋‚˜ ๋ฌด์–ธ๊ฐ€๊ฐ€ ๊ณ ์žฅ ๋‚ฌ์„ ๋•Œ ํ†ต๋ณด ๋ฐ›๊ธฐ๋ฅผ ์›ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
๊ทธ๋Ÿผ ์ด ๋•Œ ๊ทœ์น™ ๊ธฐ๋ฐ˜์˜(rule-based) ์ตœ์‹  ์•Œ๊ณ ๋ฆฌ์ฆ˜์˜ ๋ฌธ์ œ์ ์€ ๋ฌด์—‡์ผ๊นŒ์š”? ์•„๋ฌด ๋ฌธ์ œ๋„ ์—†์Šต๋‹ˆ๋‹ค. ๋‹ค๋งŒ, ์ €๋Š” LSTM์ด ๋Œ€๊ฐœ ์ตœ์‹  ์•Œ๊ณ ๋ฆฌ์ฆ˜๋ณด๋‹ค ๋›ฐ์–ด๋‚˜๋‹ค๊ณ  ๋งํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.(ํŠนํžˆ ์‹œ์Šคํ…œ์„ ํ•™์Šต์‹œํ‚ฌ ์ถฉ๋ถ„ํ•œ ๋ฐ์ดํ„ฐ๊ฐ€ ์žˆ๋Š” ๊ฒฝ์šฐ) ๋•Œ๋•Œ๋กœ ํฌ๊ฒŒ, ๋•Œ๋กœ๋Š” ์กฐ๊ธˆ ๋›ฐ์–ด๋‚˜๊ณ , ๋“œ๋ฌผ๊ฒŒ๋Š” ์„ฑ๋Šฅ์ด ์•ˆ์ข‹์„ ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Š” ๊ฐ๊ฐ์˜ ์‚ฌ๋ก€๋ณ„ ์ •ํ™•๋„ ์ฆ๊ฐ€์— ๋”ฐ๋ฅธ ์ถ”๊ฐ€ ์ปดํ“จํŒ… ๋น„์šฉ์„ ์ •๋‹นํ™”ํ•  ์ˆ˜ ์žˆ๋Š”์ง€ ์—ฌ๋ถ€์— ๋”ฐ๋ผ ๋‹ค๋ฆ…๋‹ˆ๋‹ค.

๋ฐ๋ชจ์‚ฌ๋ก€ : IoT ์‹œ๊ณ„์—ด ๋ฐ์ดํ„ฐ์˜ ์ด์ƒ ํƒ์ง€

์ด ๋ฐ๋ชจ ์‚ฌ๋ก€์— ๋Œ€ํ•ด ์ƒ๊ฐํ•ด๋ณด์„ธ์š”. ์ด ์‚ฌ๋ก€๋Š” ํ›„์† ํŠœํ† ๋ฆฌ์–ผ์˜ ๊ธฐ์ดˆ๊ฐ€ ๋  ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๋ฒ ์–ด๋ง์„ ์ธก์ •ํ•˜๋Š” ์ง„๋™(๊ฐ€์†๋„๊ณ„) ์„ผ์„œ ๋ฐ์ดํ„ฐ์˜ ์ด์ƒ์„ ๊ฐ์ง€ํ•˜๋Š” ์ž‘์—…์„ ์ƒ๊ฐํ•ด๋ณด์„ธ์š”. ๊ทธ๋ฆผ 9์™€ ๊ฐ™์ด ๋ฒ ์–ด๋ง์— ์„ผ์„œ๋ฅผ ๋ถ€์ฐฉํ•ฉ๋‹ˆ๋‹ค.

๊ทธ๋ฆผ 9. ๋ฒ ์–ด๋ง์— ๋ถ€์ฐฉํ•œ ๊ฐ€์†์„ผ์„œ

๊ฐ€์†๋„๊ณ„ ์„ผ์„œ๋Š” 3๊ฐœ์˜ x, y, z ์ถ• ๊ฐ๊ฐ์— ์ง„๋™์„ ๊ธฐ๋กํ•ฉ๋‹ˆ๋‹ค. ํšŒ์ „ ์šด๋™ ํŒจํ„ด์„ ๊ณ ๋ คํ•œ ๋ณด๋‹ค ์ •๊ตํ•œ ์„ผ์„œ๊ฐ€ ์žˆ์ง€๋งŒ ๋ชจ๋“  ์Šค๋งˆํŠธ ํฐ์—์„œ ๋ณผ ์ˆ˜์žˆ๋Š” ๊ฒƒ์ฒ˜๋Ÿผ์ด ๊ฐ„๋‹จํ•œ ์„ผ์„œ๋กœ๋„ ๋ฌธ์ œ๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค. (์Šค๋งˆํŠธ ํฐ์˜ ๊ฐ€์†๋„๊ณ„์— ์•ก์„ธ์Šคํ•˜๊ณ  ๋ถ„์„ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ๋ฐฐ์šฐ๋ ค๋ฉด ๋‹ค์Œ์˜ ํŠœํ† ๋ฆฌ์–ผ์„ ๋”ฐ๋ฅด์‹ญ์‹œ์˜ค.) ์ด์™€ ๊ฐ™์€ ์‹œ์Šคํ…œ์„ ๋ฐ๋ชจ์—์„œ๋Š” ์‚ฌ์šฉํ•˜๊ธฐ๊ฐ€ ์–ด๋ ต๊ธฐ ๋•Œ๋ฌธ์— Node-RED์— ์‹œ๋ฎฌ๋ ˆ์ดํ„ฐ๋ฅผ ๊ตฌํ˜„ํ•˜์—ฌ ๋ฐ์ดํ„ฐ๋ฅผ ์ƒ์„ฑํ•ด์•ผํ•ฉ๋‹ˆ๋‹ค. ์—ฌ๊ธฐ์—์„œ๋Š” Lorenz attractor ๋ฌผ๋ฆฌ ๋ชจ๋ธ์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ํŠœํ† ๋ฆฌ์–ผ์—์„œ ์ƒ์„ฑ๋œ์ด ๋ฐ์ดํ„ฐ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์ด์ƒ ์ง•ํ›„๋ฅผ ๊ฐ์ง€ํ•˜๊ณ  ๊ธฐ๋ณธ์ ์œผ๋กœ ๋ฒ ์–ด๋ง์ด ํŒŒ์†๋  ์‹œ๊ธฐ๋ฅผ ์˜ˆ์ธกํ•ฉ๋‹ˆ๋‹ค. ์ด ํ…Œ์ŠคํŠธ ๋ฐ์ดํ„ฐ ์‹œ๋ฎฌ๋ ˆ์ดํ„ฐ๋ฅผ ์–ด๋–ป๊ฒŒ ์ƒ์„ฑํ–ˆ๋Š”์ง€ ๋ณด๋ ค๋ฉด ์ด ์‹œ๋ฆฌ์ฆˆ์˜ ๋‹ค์Œ ํŠœํ† ๋ฆฌ์–ผ์ธ ์ด์ƒ ํƒ์ง€๋ฅผ ์œ„ํ•œ ๋ฐ์ดํ„ฐ ์ƒ์„ฑ์„ ์ฝ์œผ์‹ญ์‹œ์˜ค.

ํ…Œ์ŠคํŠธ ๋ฐ์ดํ„ฐ ์ƒ์„ฑ๊ธฐ๋ฅผ ์ •์ƒ ์ƒํƒœ์™€ ์˜ค๋ฅ˜ ์ƒํƒœ์˜ ๋‘ ๊ฐ€์ง€ ์ƒํƒœ๋กœ ์ „ํ™˜ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ฆผ 10์€ ๋ถ€ํ’ˆ์˜ ์ •์ƒ์ธ ์ƒํƒœ์˜ ์‹œ๊ณ„์—ด์ƒ์˜ ์„ธ ๊ฐ€์ง€ ์ง„๋™ ํฌ๊ธฐ๋ฅผ ๋ณด์—ฌ์ฃผ๋Š” ์œ„์ƒ ๋„ํ‘œ์ž…๋‹ˆ๋‹ค.

๊ทธ๋ฆผ 10. ์ •์ƒ ์ƒํƒœ์˜ ์œ„์ƒ ๋„ํ‘œ

๊ทธ๋ฆผ 10์—์„œ์™€ ๊ฐ™์€ ์œ„์ƒ ๋„ํ‘œ๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ์‹ค์ œ ๋ชจ๋ธ์˜ ๋งค๊ฐœ ๋ณ€์ˆ˜๋ฅผ ์•ฝ๊ฐ„ ๋ณ€๊ฒฝํ•œ ์˜ค๋ฅ˜ ์ƒํƒœ๋ฅผ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ทธ๋ฆผ 11. ๊ฒฐํ•จ ์ƒํƒœ์˜ ์œ„์ƒ ๋„ํ‘œ

์œ„์ƒ ๋„ํ‘œ์— ์ต์ˆ™ํ•˜์ง€ ์•Š์€ ๊ฒฝ์šฐ ๊ทธ๋ฆผ 12 ๋ฐ ๊ทธ๋ฆผ 13์˜ ์‹คํ–‰ ์ฐจํŠธ์—์„œ ์„ธ ์ถ• ๊ฐ’์„ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. (๋‹ค์‹œ ์ •์ƒ๊ณผ ๊ฒฐํ•จ ์ƒํƒœ์˜ ์‹คํ–‰ ์ฐจํŠธ ์ž…๋‹ˆ๋‹ค.)

๊ทธ๋ฆผ 12. ์ •์ƒ ์ƒํƒœ์˜ ์‹คํ–‰ ์ฐจํŠธ

๊ทธ๋ฆผ 13. ๊ฒฐํ•จ ์ƒํƒœ์˜ ์‹คํ–‰ ์ฐจํŠธ

์ผ๋ฐ˜์ ์ธ ๊ธฐ์ˆ  ์ค‘ ํ•˜๋‚˜๋Š” DFT(์ด์‚ฐ ํ‘ธ๋ฆฌ์— ๋ณ€ํ™˜) ๋˜๋Š” ์›จ์ด๋ธ”๋ฆฟ์„ ์‚ฌ์šฉํ•˜์—ฌ์ด ๋ฐ์ดํ„ฐ๋ฅผ ์‹œ๊ฐ„์—์„œ ์ฃผํŒŒ์ˆ˜ ๋„๋ฉ”์ธ์œผ๋กœ ๋ณ€ํ™˜ํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ๋‹ค์‹œ, ๊ทธ๋ฆผ 14์™€ ๊ทธ๋ฆผ 15์—์„œ ์ •์ƒ ์ƒํƒœ์™€ ๊ฒฐํ•จ ์ƒํƒœ์— ๋Œ€ํ•œ DFT๋ฅผ ๋ณด์—ฌ์ค๋‹ˆ๋‹ค.

๊ทธ๋ฆผ 14. ์ •์ƒ ์ƒํƒœ์˜ ์ด์‚ฐ ํ‘ธ๋ฆฌ์— ๋ณ€ํ™˜

๊ทธ๋ฆผ 15. ๊ฒฐํ•จ ์ƒํƒœ์˜ ์ด์‚ฐ ํ‘ธ๋ฆฌ์— ๋ณ€ํ™˜

๊ฒฐํ•จ ์ƒํƒœ์—๋Š” ๋” ๋งŽ์€ ์—๋„ˆ์ง€์™€ ์ถ”๊ฐ€ ์ฃผํŒŒ์ˆ˜๊ฐ€ ์žˆ์Œ์„ ๋ช…ํ™•ํ•˜๊ฒŒ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ๋ฐ์ดํ„ฐ๋Š” ์ด์ „์— ๋ฐฐ์› ๋˜ ๋ถ„๋ฅ˜ ๊ธฐ์ค€์„ ํ•™์Šตํ•˜๋Š” ๋ฐ ์ถฉ๋ถ„ํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ์šฐ๋ฆฌ๋Š” ๋” ์ž˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์šฐ๋ฆฌ๋Š” ๋ฐ์ดํ„ฐ๋กœ๋ถ€ํ„ฐ ์ •์ƒ์ ์ธ ํ–‰๋™์„ ํ•™์Šตํ•  ์ˆ˜์žˆ๋Š” ์‹œ์Šคํ…œ์„ ๋งŒ๋“ค๊ณ  ์ƒˆ๋กœ์šด(๋ณด์ด์ง€ ์•Š๋Š”) ๋ฐ์ดํ„ฐ (๋˜๋Š” ์ˆœ์ฐจ์  ํŒจํ„ด)๋ฅผ ๋ณธ ํ›„ ๊ฒฝ๊ณ ๋ฅผ ์•Œ๋ฆผ์„ ๋ณด๋‚ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ด๋Ÿฌํ•œ ์‹œ์Šคํ…œ์€ ๊ทธ๋ฆผ 16๊ณผ ๊ฐ™์ด LSTM ๊ธฐ๋ฐ˜ ์ž๋™ ์ธ์ฝ”๋”(auto-encoder)์ž…๋‹ˆ๋‹ค.

๊ทธ๋ฆผ 16. LSTM ์ž๋™ ์ธ์ฝ”๋” ๋ชจ๋ธ

์ด ์‹œ์Šคํ…œ์€ ์‹ ๊ฒฝ๋ง์˜ ๋ณ‘๋ชฉ ํ˜„์ƒ์„ ํ†ตํ•ด ๋ง‰๋Œ€ํ•œ ์–‘์˜ ๋ฐ์ดํ„ฐ๋ฅผ ์••์ถ•ํ•˜์—ฌ ๊ด€์ธก๋œ ๊ฒƒ๊ณผ ๋™์ผํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ์žฌ๊ตฌ์„ฑํ•˜๋ ค๊ณ ํ•ฉ๋‹ˆ๋‹ค. (๋ฌผ๋ก  ๋ณ‘๋ชฉ ํ˜„์ƒ์„ ์‚ฌ์šฉํ•˜์—ฌ ๋ฐฉ๋Œ€ํ•œ ์–‘์˜ ๊ด€๋ จ์—†๋Š” ๋ฐ์ดํ„ฐ๊ฐ€ ์†์‹ค๋ฉ๋‹ˆ๋‹ค.) ์ด๋Ÿฌํ•œ ์‹ ๊ฒฝ๋ง์€ ์‹œ์Šคํ…œ์ด ์ •์ƒ์ ์œผ๋กœ ์ž‘๋™ํ•˜๋Š” ๋ฐฉ์‹์„ ํ•™์Šตํ•˜๊ณ  ์ƒˆ๋กœ์šด ํŒจํ„ด์ด ๋‚˜ํƒ€๋‚˜๋Š” ์ฆ‰์‹œ ๋ฐ์ดํ„ฐ๋ฅผ ์žฌ๊ตฌ์„ฑํ•˜๋Š”๋ฐ ์–ด๋ ค์›€์„ ๊ฐ์ง€ํ•˜๊ณ  ๊ฒฝ๋ณด๋ฅผ ๋ฐœ์ƒ์‹œํ‚ค๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.

๊ฒฐ๋ก 

๋ณธ ํฌ์ŠคํŒ…์„ ํ†ตํ•ด ์—ฌ๋Ÿฌ๋ถ„์€ ์‹ ๊ฒฝ๋ง์— ๋Œ€ํ•œ ์ถฉ๋ถ„ํ•œ ์ดํ•ด์™€ ํ•จ๊ป˜ ์ฝ”๊ทธ๋„ˆํ‹ฐ๋ธŒ IoT ์‹œ์Šคํ…œ์—์„œ ์–ด๋””์— ๋”ฅ๋Ÿฌ๋‹์ด ์ ์šฉ๋ ์ง€์— ๋Œ€ํ•ด ํŒŒ์•…ํ•˜์…จ์„ ๊ฒ๋‹ˆ๋‹ค.
๋‹ค์Œ ํŠœํ† ๋ฆฌ์–ผ์—์„œ๋Š” ์•„ํŒŒ์น˜ ์ŠคํŒŒํฌ (Apache Spark)์— ๋Œ€ํ•œ ๋‹ค์–‘ํ•œ ๊ธฐ์ˆ ์„ ์‚ฌ์šฉํ•˜์—ฌ ๋”ฅ๋Ÿฌ๋‹ ์‹œ์Šคํ…œ์„ ๊ตฌํ˜„ํ•˜๊ณ , ์‹œ์Šคํ…œ์—์„œ ์ด๋Ÿฌํ•œ ๊ธฐ์ˆ ์˜ ์˜ํ–ฅ๋ ฅ์— ๋Œ€ํ•œ ์ดํ•ด๋„๋ฅผ ๋†’์ด๋„๋ก ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ Deeplearning4j, Apache SystemML ๋ฐ TensorFlow (TensorSpark)์™€ ๊ฐ™์€ IBM Cloud์—์„œ ์‹คํ–‰๋˜๋Š” ๊ณต๊ฐœ ํ‘œ์ค€ ๋ฐ ์˜คํ”ˆ ์†Œ์Šค ์†”๋ฃจ์…˜์— ๋Œ€ํ•ด์„œ๋„ ๋ง์”€ ๋“œ๋ฆฌ๊ฒ ์Šต๋‹ˆ๋‹ค.

* ๋ณธ ํฌ์ŠคํŒ…์€ ๋”ฅ๋Ÿฌ๋‹๊ณผ LSTM ๋„คํŠธ์›Œํฌ ์†Œ๊ฐœ (1)ํŽธ์—์„œ ์ด์–ด์ง€๋Š” ๊ธ€์ž…๋‹ˆ๋‹ค. https://developer.ibm.com/kr/systems/machinelearning/2017/11/14/deeplearning-lstm-1/

์ž‘์„ฑ์ž: ๋งน์œคํ˜ธ

ํ† ๋ก  ์ฐธ๊ฐ€

์ด๋ฉ”์ผ์€ ๊ณต๊ฐœ๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ํ•„์ˆ˜ ์ž…๋ ฅ์ฐฝ์€ * ๋กœ ํ‘œ์‹œ๋˜์–ด ์žˆ์Šต๋‹ˆ๋‹ค.