2025년 생성형 AI 기술 및 시장 요약

올해 생성형 AI 기술 및 시장을 조망하기 위해 2024년말에 나온 몇 가지 좋은 자료를 요약해 보고자 합니다. 우선 허진호 대표님이 작성해 주신 State of AI Opportunities — 2025년을 맞으며 (2024년 12월)를 비롯해서, Menlo Ventures의 2024: The State of Generative AI in the Enterprise (2024년 11월), 그리고 LangChain의 State of AI 2024 Report (2024년 12월)를 기반으로 몇 가지 생성형 AI 문서 요약 서비스를 활용했습니다.

생성형 AI 시장의 변화와 트렌드

최신 대규모 언어 모델(The state of art, SOTA LLM)의 발전이 정체되고 있으며, 올해 GPT-5와 같은 성능을 가진 모델이 발표될 가능성은 낮아 보입니다. 대신, 데이터 학습 규모에 대한 제약으로 인해, 대규모 모놀리식 모델보다는 상대적으로 작은 규모의 모델에 더 많은 학습 데이터를 투입하고, 전체 시스템 구조를 확장하는 방식이 다음 단계 SOTA 모델이 될 것입니다.

미드 마켓에서는 Meta Llama, Anthropic, Mistral 등 다양한 기업들이 70B~400B 규모의 LLM을 경쟁적으로 발표하고 있으며, 각 모델의 오픈 소스 버전도 1-3개월 이내에 출시되고 있구요. SOTA 모델보다 미드 사이즈 모델을 중심으로 기업 사용 사례를 개발하는 것이 향후 몇 년 간 가장 큰 비즈니스 가치를 창출할 것으로 예상됩니다. 작년에는 동영상 생성 모델이 경쟁적으로 발표되었으나, 멀티모달 생성 기술은 문서 작업 중심의 B2B 분야에서의 사용이 주를 이루고 있으며, 동영상 등은 게임과 메타버스 등에서 향후 2-3년간 기회가 확장될 가능성이 큽니다.

생성형 AI 모델 제공사 활용 추세

기업 내 의사 결정자들에 따르면, 회사 내에서 단일 LLM 모델이 아니라 다중 모델을 선택하는 추세로 바뀌고 있습니다. 최소 3개 이상의 파운데이션 모델을 사용하고, 사용 사례에 따라 다른 모델로 라우팅하는 방식을 사용하고 있습니다. 새로운 LLM을 선택할 때, 보안 (46%), 가격(44%), 성능(42%), 확장 기능(41%)을 중요한 요인으로 꼽았습니다.

기업에서는 ChatGPT, Claude, Llama 및 Gemini 모델을 필요에 따라 다양하게 사용하고 있지만, LangChain을 주로 활용하는 개발자들은 아직 ChatGPT 의존도가 높습니다. 특히, 로컬 환경에서 오픈 LLM 모델을 배포하는 Ollama와 클라우드 환경에서 오픈 LLM 모델을 배포하는 Groq 사용량이 꽤 높은 비율을 나타냅니다.

두 보고서의 결과가 약간 차이나는 것은 Menlo Ventures의 설문은 기업 내 의사 결정자에게 얻은 것으로 실제 제품 프로덕션에서 활용하는 추세를 파악한 것이고, LangChain 설문은 주로 GenAI 학습이나 취미 프로젝트를 하는 일반 개발자에게서 얻은 데이터기 때문인 것으로 파악됩니다.

생성형 AI 애플리케이션 설계 패턴 추세

효율적이고 확장 가능한 기업용 생성형 AI 시스템을 구축하기 위하여, 생성형 AI 앱 설계 패턴 역시 빠르게 변화하고 있습니다. 작년에 비해 프롬프트 엔지니어링, 파인튜닝 기법 활용 비율은 급격히 줄어들었으며, 오히려 검색 증강 생성 (RAG)는 51%로 압도적으로, 작년 31%에서 크게 증가한 수치입니다. 앞에서 언급한 AI 에이전트 아키텍처는 작년에 새롭게 선보였으며, 이미 전체 구현의 12%를 점유하고 있습니다. LangChain 사용자 중에서도 에이전트 기반 생성형 AI 앱을 만들 수 있는 LangGraph 사용률이 40% 이상으로 늘어났습니다.

RAG를 강화하기 위해 활용되는 벡터 데이터베이스의 경우, 기업 시장에서는 Pinecone (18%), PostgreSQL (15%) 및 MongoDB (14%) 등이 높은 점유율을 보이고 있습니다. 다만, LangChain 사용자 사이에서는 Chroma와 Facebook AI Similarity Search (FAISS)를 많이 선택하고 있습니다. 이들은 오픈 소스 기반 벡터 DB 혹은 벡터 검색 라이브러리로서, 로컬에서 활용할 수 있다는 장점이 있습니다. 역시 이들 차이점은 기업 시장의 프로덕션 제품과 취미 개발 사이에 간극이 존재하고 있음을 보여주고 있습니다.

생성형 AI 애플리케이션 활용 분야

기업 내 생성형 AI 파운데이션 모델 투자에 여전히 많은 지출을 하고 있지만, 모델 훈련 및 배포, 데이터 인프라, 산업별 혹은 업무별 AI 서비스 도입 등에도 많은 투자를 하고 있습니다. 특히, 개발자를 위한 소프트웨어 코딩 제안 기능이 51%로 가장 높고, 챗봇은 31%입니다. 특히, GitHub Copilot과 Cursor 같은 코딩 도우미 서비스를 빠르게 도입하고 있습니다.

엔터프라이즈 검색, 데이터 추출 및 변환 (각 28% 및 27%)은 기업 전체에 흩어져 있는 데이터 사일로에 숨겨진 지식을 발굴하려는 높은 의지를 반영하고 있구요. 특이하게, 회의 요약이나 카피라이팅, 이미지 생성 같은 업무에 직접적으로 활용하는 기능을 통한 시간 절약이 그 다음으로 높은 빈도를 나타내고 있습니다.

마무리

• 올해는 기업형 AI 시장에서 에이전트(Agent) 방식이 주요 패러다임의 중심으로 부상할 것으로 예상되며, 특히 멀티 에이전트 시스템이 핵심 키워드로 떠오르고 있습니다. 산업별 혹은 업무 영역별 버티컬 AI 서비스를 통해 기존 워크플로우와 조직 구조를 변화시키며, 효율성을 기반한 비즈니스 모델로 진화할 것으로 보입니다.
• 기업들이 멀티 언어 모델 전략을 기반으로 사용 사례에 따라 가격 대비 성능을 중심으로 오픈 및 클로즈드 모델을 필요에 따라 선택할 것으로 보이며, 비용 절감을 위한 다양한 모델 활용 기법(프롬프트 캐싱 및 라우팅, 모델 증류)도 더 많이 사용될 것입니다.
• 개발자들이 가장 첫번째 고객으로서 생성형 AI를 적극적으로 채택하고 활용하고 있으며, 생성형 AI 기반 코딩 도우미 서비스 시장의 경쟁이 일어날 것으로 예상되며 (최근에 GitHub Copolit 무료 제공), 텍스트, 이미지, 동영상 등의 멀티 모달 기반의 챗봇 제작도 대세가 될 것 같습니다.

올 한해도 흥미진진한 해가 될 듯 싶네요.

- Channy Yun (윤석찬);

※ Disclaimer- 본 글은 개인적인 의견일 뿐 제가 재직했거나 하고 있는 기업의 공식 입장을 대변하거나 그 의견을 반영하는 것이 아닙니다. 사실 확인 및 개인 투자의 판단에 대해서는 독자 개인의 책임에 있으며, 상업적 활용 및 뉴스 매체의 인용 역시 금지함을 양해해 주시기 바랍니다. 본 채널은 광고를 비롯 어떠한 수익도 창출하지 않습니다. (The opinions expressed here are my own and do not necessarily represent those of current or past employers. Please note that you are solely responsible for your judgment on checking facts for your investments and prohibit your citations as commercial content or news sources. This channel does not monetize via any advertising.)