클라우드와 생성형 AI로 본 웹서비스 기술 변화

지난 한국 웹 30주년 기념 세미나에서 지난 10년간 클라우드와 생성형 AI가 웹 서비스 기술 변화에 미치는 영향에 대해 발표하였습니다. 클라우드 환경에서 프론트엔드와 백엔드의 진화를 통해 변화하는 웹 개발 환경을 살펴보면서, 클라우드와 오픈 소스 생태계의 변화, 기계 학습의 눈부신 발전 덕분에 생성형 AI가 어떻게 웹의 미래를 더욱 흥미롭게 만드는지 살펴보았습니다. 발표 녹화 영상과 함께 Lilys AI의 도움을 받은 요약문도 살펴 보시죠.

웹 프론트엔드 기술 변화

최근 10년 동안 웹 프론트엔드는 주로 자바스크립트 생태계로 발전하였고, 리액트와 타입스크립트의 도입으로 생산성이 높아지면서, 백엔드와 비슷하게 웹 개발 방식이 변화하고 있으며, 백엔드와 프론트엔드의 경계가 모호해졌습니다. 패키징 기술이 발전하면서 웹팩과 파셀이 주요 도구로 자리잡았으며, 자바스크립트 백엔드에서는 SWC 컴파일러가 널리 사용되고 있습니다.

현재 웹 개발은 리액트와 넥스트 JS 두 가지 기술에 주로 의존하고 있으며, 싱글 페이지 애플리케이션으로 통칭되는 클라이언트 사이드 렌더링에서 다시 서버 사이드 렌더링으로의 전환이 이루어지고 있습니다. 대부분의 웹 애플리케이션배포는 현재 클라우드기반으로 이뤄지고 있으며, 클라우드플랫폼의 역할이 중요해지고 있습니다.

백엔드 기술 변화

백엔드아키텍처는 전통적인 서비스 지향 아키텍처(SOA)에서, 마이크로서비스(Microservices) 그리고 이벤트 기반 (Event-driven)아키텍처르 변화하면서 복잡한 애플리케이션을 단순화하는 경향이 있습니다. 백엔드에서 활용하던 MVC 패턴은 이제 프론트엔드 기술에서도 활용되고 있구요. 웹2.0이 촉발한 오픈 API 기술은 클라우드 컴퓨팅을 태동시키는 원동력이 되었습니다.

여기에는 서비스 빌딩블록을 작게 구성할 수 있게 도와주는 AWS 같은 클라우드 서비스가 큰 역할을 하였는데, 과거의 인프라 관리의 필요성을 줄이고, 이를 통해 사용자는 원하는 작업에 집중할 수 있도록 해주었습니다. 클라우드 플랫폼은 사용자 요구에 따라 물리적 장비에서, 가상 머신, 완전 관리형 서비스, 서버리스 방식으로 계속 진화하는 중입니다.

클라우드 서비스가 가져온 것

최근 쿠버네티스를 포함해서 잘 나가는 오픈 소스프로젝트들은 거의 클라우드 기반으로 변화하고 있으며, 클라우드 네이티브 컴퓨팅 재단 (CNCF)에서 주도적으로 관리되고 있습니다. 이들 클라우드 네이티브 오픈 소스들은 사용자의 수를 확대하며, 선순환 구조를 형성하고 있습니다.

클라우드 산업의 발전으로 인해 기존 백엔드, 프론트엔드 등의 SW 직군 외에 클라우드와 직접적으로 관련된 새로운 직업, 특히 솔루션즈 아키텍터와 서포트 엔지니어 등이 많아지고 있습니다. 과거 데이터센터에서 시스템 엔지니어로 일하던 사람들이 현재는 주로 프로그램 기반으로 클라우드를 운영하고 배포하는 데브옵스 엔지니어 혹은 사이트 신뢰성 엔지니어 (SRE)쪽으로 이동하고 있구요. 이들 신규 직업군들은 높은 연봉을 제공하고 있으며, 이러한 변화는 클라우드사용 고객이 많아짐에 따라 가속화되고 있다.

오픈 소스 소프트웨어 생태계는 지난 10년간 GPL, LGPL과 같은 라이센스에서 아파치, BSD, MIT 라이센스로의 변화가 두드러지며 상업 친화적인 방향으로 바뀌고 있습니다. 특히, 클라우드 업체들이 오픈 소스 배포와 관리형 서비스를 기반으로 사용자층을 확보하면서, 기존에 오픈 소스를 만든 기업이나 커뮤니티가 혜택을 받지 못하는 상황이 발생하고 있으며, 이러한 갈등이 촉발되어 새롭게 공유 소스 (Shared Source) 소프트웨어가 생겨났습니다. 앞으로 자유/오픈/공유 소스 라이센스를 가진 소프트웨어들이 시장에 공존할 것으로 예상됩니다.

생성형 AI의 발전과 향후 미래 전망

생성형 AI는 클라우드의 발전과 밀접한 관련이 있습니다. 2014년 부터 클라우드가 준 대용량 컴퓨팅과 데이터 처리 능력으로 인해 그동안 빛을 보지 못했던 딥러닝 신경망 모델이 발전하기 시작했고, 이는 현재의 생성형 AI까지 진화하였습니다.

생성형 AI기반의 애플리케이션은 기존의 우리가 일반적으로 만드는 애플리케이션과 다릅니다. 사람이 만든 서비스 기획과 코드 구현, 그리고 데이터베이스를 활용해서 원하는 결과를 내는 것과 달리 사용자의 프롬프트 입력과 기존의 데이터 맥락을 가지고, 대규모 언어 모델이라고 불리는 파운데이션 모델을 활용해서 결과는 내는데요.

이것은 AI 엔지니어링이라는 새로운 기술 세트를 만들어냅니다. 예를 들어 사전에 정확한 요구 사항을 제시하는 프롬프트 엔지니어링, 기존 데이터에서 맥락을 검색해서 더 정확한 결과를 얻는 검색증강생성(RAG)과 벡터 데이터베이스, 모델의 성능을 직접 조정하는 파인튜닝 등입니다. 이제는 생성형 AI 파운데이션 모델이 애플리케이션 실행의 역할을 하며, 기업에서 생성형 AI를 비지니스 및 업무에 직접 활용하기 시작하고 있습니다.

강연을 간단하게 요약하면 다음과 같습니다.

• 프론트엔드 기술: 자바스크립트 생태계를 기반으로 웹 호환성을 높이는 패키징, 클라우드 기반의 풀스택 배포로 진화하고 있다.
• 백엔드 기술: 클라우드 기반 컨테이너 기술과 마이크로 서비스 아키텍처로 진화하고 있으며, 다양한 클라우드 기반 오픈 소스 생태계를 기반으로 새로운 기술 직군이 추가되고 있다.
• 오픈 소스 생태계: 기업 친화적 상업화가 진행되었고, 클라우드로 인한 공유 소스 소프트웨어가 대두되어, 자유/오픈/공유 소스 SW가 공존하고 있다.
• 생성형 AI: 대용량 컴퓨팅과 대규모 데이터로 인한 딥러닝 기술이 대규모 언어 모델(LLM) 발전을 촉발하였고, 프롬프트엔지니어링, 검색증강생성을 통한 생성형 AI 앱이 기업 업무 생산성 및 비지니스 도구에 활용되고 있다.

제 발표 이외에도 한국 웹 30주년 기념 세미나에서는 CSS 창시자인 Håkon Wium Lie의 축하 인사와 함께 WWW-KR (김용운), Web2.0WG (허진호), 웹표준 프로젝트 (신현석) 대표 멤버들의 근황 소개, 그리고 W3C 웹 표준 현황 (송효진)과 Web3 브라우저 Brave (홍영기)에 대한 발표도 있었습니다. 조촐한 모임이었지만, 다음에도 꼭 뵈었으면 합니다.

- Channy Yun (윤석찬);

※ Disclaimer- 본 글은 개인적인 의견일 뿐 제가 재직했거나 하고 있는 기업의 공식 입장을 대변하거나 그 의견을 반영하는 것이 아닙니다. 사실 확인 및 개인 투자의 판단에 대해서는 독자 개인의 책임에 있으며, 상업적 활용 및 뉴스 매체의 인용 역시 금지함을 양해해 주시기 바랍니다. 본 채널은 광고를 비롯 어떠한 수익도 창출하지 않습니다. (The opinions expressed here are my own and do not necessarily represent those of current or past employers. Please note that you are solely responsible for your judgment on checking facts for your investments and prohibit your citations as commercial content or news sources. This channel does not monetize via any advertising.)

* 이 글의 댓글 일부는 Webmention 도구를 이용하여, 소셜 미디어 공유 반응(Comments, Like, Tweet)을 수집한 것입니다.