모두를 위한 딥러닝과 AWS 클라우드 활용하기

인공 지능의 특이점이 오고 있습니다. 요즘 각광 받는 기계 학습 기법 중 하나인 딥러닝은 인공 신경망(Neural Network) 또는 심층 인공 신경망 (Deep NN) 기반합니다. 딥러닝은 컴퓨터들이 인간의 두뇌와 비슷한 모양의 대형 인공 신경망을 형성하는 일종의 기계 학습 방법입니다.

이것은 사용자가 정의한 규칙 없이, 수학이나 통계를 이용한 기계 학습 또는 딥러닝 알고리즘을 사용하여 데이터로부터 패턴을 학습하고 분석할 수 있습니다. 덕분에 음성인식, 컴퓨터 비전과 자연어 처리 등의 다양한 응용 분야에 이용되고 있지요.

제 지인인 홍콩과기대 컴퓨터공학과 김성훈 교수님이 뜨고 있는 딥러닝을 공부할 수 있는 “모두를 위한 딥러닝“이라는 강좌를 시작했습니다. 소프트웨어에서 버그 추출 예측 같은 연구를 하는 중 이 주제에 대해 좀 더 알기 싶어서 만드셨는데요. 딥러닝의 기본 개념 부터 구글이 공개한 오픈소스인 TensorFlow를 이용해서 이론을 구현해 볼수 있도록 하고 있습니다. 수업에 사용된 코드는 Github에도 공개 하여 많은 분들이 공부할 수 있도록 하였습니다.

공개된 딥러닝의 아버지로 불릴만한 Jeff Dean이 최근에 AI Frontiers: Trends and Developments in Deep Learning Research라는 강연을 하였습니다. 여기서 딥러닝이 다른 기계 학습 기법 보다 현재 좋은 성능을 보이게 된 것은 바로 컴퓨팅 용량의 증가와 함께 데이터의 사이즈가 커졌기 때문이라고 언급했습니다.

80-90년대에도 인공 신경망 기법이 있었지만, 다른 AI 알고리즘 보다 성능이 좋지 못하고, 소위 AI 겨울이 온 것은 그런 이유겠죠. 특히, 2012년 이후 클라우드는 누구나 컴퓨팅 성능을 손쉽게 사용할 수 있는 자유를 주고 있습니다. 예를 들어, AWS 클라우드를 통해서 딥러닝 모델 학습용 클러스터를 만들어 본다고 생각해보면요. 한 개 수천 만원하는 비싼 GPU 카드를 사는 대신 클라우드 가상 서버의 경우, 시간당 저렴한 비용으로 빌러서 사용할 수 있습니다.

예를 들어, Amazon EC2 P3 인스턴스는 NViidia Tesla 100 GPU를 제공하는데, 초당 1페타플롭스 즉, CPU 100개 정도의 연산 능력을 제공합니다. 서울 리전의 경우, 시간당 5달러면 사용이 가능합니다. 20개를 빌리면 CPU 2,000개의 연산 능력을 가지는데 100달러면 사용이 가능하죠. 딥러닝 모델의 경우, 컴퓨팅 용량이 좋으면 좋을 수록 학습 속도가 짧아집니다. 특히, Amazon EC2에서 여유 자원이 남는 경우 70% 이상의 할인율을 제공하는 스팟 인스턴스라는 방식을 사용하면, 시간당 30달러에도 빌릴 수 있습니다.

모두를 위한 딥러닝에서도 TensorFlow로 학습하는 모델을 Amazon EC2 인스턴스에서 돌려 볼 수 있는 예제 영상을 함께 만들어 제공했습니다. (실습 슬라이드동영상 참고)

lab13: TensorFlow를 AWS에서 GPU와 함께 돌려보자

뿐만 아니라 앞서 소개한 Amazon EC2 스팟 인스턴스를 활용해서 더 빠르면서 저렴하게 모델 학습을 할 수 있는 방법도 함께 소개하였습니다. (실습 슬라이드동영상 참고)

마지막으로 Tensorflow Korea 회원들을 위해서 연구 및 학습용 크레딧 코드도 제공합니다. 필요하신 분은 신청해 주시면 감사하겠습니다! 즐거운 딥러닝 학습 되세요.

- ;

Disclaimer- 본 글은 개인적인 의견일 뿐 제가 재직했거나 하고 있는 기업의 공식 입장을 대변하거나 그 의견을 반영하는 것이 아닙니다. 사실 확인 및 개인 투자의 판단에 대해서는 독자 개인의 책임에 있으며, 상업적 활용 및 뉴스 매체의 인용 역시 금지함을 양해해 주시기 바랍니다. 본 채널은 광고를 비롯 어떠한 수익도 창출하지 않습니다. (The opinions expressed here are my own and do not necessarily represent those of current or past employers. Please note that you are solely responsible for your judgment on checking facts for your investments and prohibit your citations as commercial content or news sources. This channel does not monetize via any advertising.)