DevRel은 어떻게 성과를 측정하는가?

작년에 DevRel Tokyo 2018 행사를 초대 받아서 DevRel 성과 측정에 대해 발표를 하고 왔습니다. Developer Relation은 무엇인가?라는 글을 쓴 후에 후기를 쓴다는 게 깜박 잊어버렸네요. 그런데, 행사 주최측에서 발표 영상이 공개되었다는 이야기를 들었습니다. 행사 끝난 지 6개월이 넘었는데 빨리도 하네요. ㅎㅎ 저도 덕분에 좀 뒤늦은 후기를 써 볼까 합니다.

행사장에 가니까 일본 분들이 하는 행사지만 외국에서 연사들이 많이 와서 행사 전체를 영어로 진행하는 것이 특이했습니다. 또한, 일본에서 사용자가 많은 라인(Line)에서 얼마전 에반젤리즘 업무를 시작하신 민우님이랑 엘라스틱(Elastic)에서 일하는 종민님 등을 오랜만에 만나서 반가웠습니다.

DevRelJP 2018 행사에 참여한 한국 참가자들

저도 영어로 How to Measure DevRel’s Performances: From Community to Business”라는 주제로 30분 정도 발표했습니다. 동영상은 아래에 있구요. 발표 자료는 슬라이드쉐어에 올려 두었습니다.

Peter Drucker는 “If you can’t measure it, you can’t improve it.”라고 했습니다. 즉, 모든 업무는 성과를 측정할 수 있어야 합니다. 그래야만 정확하게 업무를 평가하고 개선할 수 있습니다.

제가 하는 DevRel 업무도 마찬가지 입니다. 트위터에 DevRel KPI라고 검색하면, 다양한 의견이 있습니다. (예: @DevRelChap – 매출로 연결 46%, 사용자 수 확대(DAU/MAU) 27%, 콘텐츠 사용량 (UV), 20% 등)

일반적인 마케팅 활동과 개발자 커뮤니티와 공통적인 특성은 바로 참여도에 따른 진화 과정(Funnel)이 생긴다는 것입니다. 저도 커뮤니티 활동을 하면서 많이 느낀 것인데, 다수의 사용자로부터 소수의 커뮤니티 리더, 핵심 코드 공헌자 등으로 나눠져 있습니다. 따라서, 많은 참여를 만들어 내려면, 각 단계별로 다른 성과를 측정할 필요가 있습니다.

Spring Community의 공헌 정도에 Funnel 진화 – 출처: Which metrics matter?

■ 1단계 – 콘텐츠 생산을 통한 규모 만들기
첫 번째는 큰 규모를 만들어야 합니다. 사실 혼자서 제한된 리소스로 규모를 키우기 어렵습니다. 그래서 잠재 개발자 고객을 확장하려면, 먼저 창의적이고 매력적인 콘텐츠를 만들어야 합니다. 개발자 행사에 초대를 받지 못했더라도 개인 블로그, 유튜브, 슬라이드쉐어에 여러분이 만든 콘텐츠 올리는 것은 가능합니다. 

저도 AWS에 대한 에반젤리즘 업무를 처음 시작했을 때, 초기 단계에 “천만 사용자를 위한 AWS 아키텍처 확장하기“의 한국어 버전을 처음 만들었습니다. 사용자 한 명부터 수백, 수십만으로 늘어나는 동안 어떤 클라우드 아키텍처로 진화해야 하는지 알려 주는 콘텐츠다 보니 수 만회의 조회수를 얻었습니다. 인공 지능에 대한 관심이 폭발하는 시기에는 아마존 물류 센터 로봇, 드론 배송, 알렉사나 아마존 고 같은 아마존의 인공 지능 사례 동영상은 단 2개월 동안 1만회가 넘었구요. 덕분에 다양한 곳에서 관련 주제에 대해 거꾸로 많은 발표 요청을 받았습니다.

■ 2단계 – 활동에 따른 가중치 기반 영향도 측정하기
대부분 에반젤리스트는 오프라인 이벤트나 온라인 웨비나에서 발표를 하거나 사용자 그룹 모임 참여, 블로그 게시물 작성, 기자와의 만남 등 다양한 활동을 합니다. 각 활동은 개발자에게 미치는 영향도가 다릅니다. 따라서, 각 항목의 지표를 영향도에 따라 가중치를 두고 계산을 해야 합니다. 예를 들어, 온라인 웨비나는 멀티 태스킹이 되다 보니 대면하는 것보다 영향도가 낮을 것입니다. 블로그나 동영상의 경우, 집중하는 시간만 보면 5-10분 정도로 매우 낮습니다.

같은 대면 행사라 하더라도, 커뮤니티 밋업 참가자나 핸즈온랩 참가자는 일반 행사 참가자 보다도 더 많은 가중치를 얻을 수 있구요. 기자 1명과 인터뷰의 경우, 외부에 기사가 노출됐을 때 인식 변화를 고려하면 1:1 활동이지만 좀 더 높은 가중치 값으로 측정이 가능합니다.

■ 3단계 – 개발자 커뮤니티 성장 시키기
여러분 회사의 제품에 대한 인식도가 높아지면, 사용자들이 늘어나고 소수의 관심자들로부터 자생적인 커뮤니티가 만들어지게 됩니다. 해외에서는 StackOverflow, Reddit, 일본 Qiita, 그리고 국내에서는 Facebook 그룹 같은 개발자 Q&A 채널이 만들어지게 되는데요. 이 때, 질문 숫자, 답변 숫자 등을 주로 측정하기도 합니다. 자발적인 질문 답변이 오고 가게 하는 것은 매우 중요한 지표라 할 수 있습니다.

커뮤니티가 일정 수준으로 늘어나면, 다양한 커뮤니티 모임이 열리게 됩니다. 해외에서는 Meetup.com, 일본에서는 Connpass, 한국에서는 온오프믹스 등을 사용하게 됩니다. AWS 의 경우, 전 세계적으로 2018년 현재 천 여개의 밋업에 50만명이 참여하여 매월 행사가 열리고 있습니다. 따라서, 밋업 숫자, 참가자 숫자, 그리고 각 커뮤니티 웹 사이트의 활동도 등을 수치화 할 필요가 있습니다. 커뮤니티에서 리더를 찾는 것도 가장 중요한 요소입니다. 이를 위해 운영자 분들을 지원하는 것이 중요하고, 지식 공유에 대한 열정이 커뮤니티에 실질적인 영향을 끼친 분들을 찾아야 합니다. (참고: 왜 기술 커뮤니티가 중요할까?)

■ 4단계 – 매출로 연결 시키기
대부분 DevRel 활동이 개발자와 연계를 더 중요시하기 때문에 직접적으로 회사의 매출로 연결하는 측정을 하지는 않습니다. 하지만, 저의 경우 외부 발표를 할 때마다 마지막 슬라이드에 피드백 URL을 추가하여, 질문을 받거나 무료 크레딧 코드를 보내 드리기도 했습니다.

이러한 요청은 Salesforce 캠페인으로 이동하고 마케팅 리드(Lead)로 인식되어 영업팀이나 고객 지원 부서가 도움을 줄 수 있습니다. 매년 연간 80 회 이상의 발표를 하면, 대략 1만명의 청중을 만나는데, 대개 그 중 10%는 저희와 연락을 원하셨습니다. 가끔 고객이 저를 직접 내부 세미나에 초대하기도 하는데, 이럴 경우 영업팀과 협력을 통해 지원을 하기도 합니다.

특히, CTO 및 CIO와 같은 기술 임원에게 영향을 미치는 것은 매우 중요합니다. 이 분들도 대부분 개발 배경이 있기도 하고, 외부에서 기술 변화에 대한 통찰력을 얻고자 하기 때문이구요. 특히, AWS에는 엔터프라이즈 전략가라는 업무를 하는 분들이 있습니다. 대부분 클라우드 마이그레이션에 대한 많은 경험과 통찰력을 가진 고객사 임원 출신으로서, 외부 발표, 블로그 저작 등 기존 에반젤리스트 업무와 겸해 기술 임원들과 연계를 중요하게 생각합니다.

요약하자면, DevRel에는 개발자의 수준 및 규모에 따라 단계별 접근이 필요하며 각 단계에서 별도로 다른 성과를 측정해야 합니다. 초기에 규모를 키우는 단계에서는, 다양한 공유 채널에 매력적인 콘텐츠를 만들어 잠재 고객을 확장 해야합니다. 그 다음에는 제품에 대한 팬을 모으고 커뮤니티를 만들고 리더를 양성합니다. 마지막으로 마케팅/영업팀과 협력하고 유료 개발자 고객, 특히 기술 임원에 대한 지원에 가중치를 높여야 합니다.

비록 일본이지만 오랜만에 DevRel에 관심을 많은 분들과 만나서 반가웠습니다. 외국에서 오신 몇 분은 저를 알고 계신 분들도 계시더라구요. 앞으로 한국어 뿐만 아니라 기회가 닿는 대로 영어 콘텐츠도 자주 만들어야 되겠다는 생각을 하게 됐습니다.

DevRel Tokyo 2018 참가자 사진

마지막으로 발표자에게 좋은 선물을 줘서 감사했습니다. DevRel 행사다 보니 참가자들에게 어떻게 감사를 표하는지 운영진도 잘 아는 것 같습니다. 나중에도 다른 행사할 때도 발표자에게 감사 선물을 꼭 만들어야 할 것 같아요!

- ;

Disclaimer- 본 글은 개인적인 의견일 뿐 제가 재직했거나 하고 있는 기업의 공식 입장을 대변하거나 그 의견을 반영하는 것이 아닙니다. 사실 확인 및 개인 투자의 판단에 대해서는 독자 개인의 책임에 있으며, 상업적 활용 및 뉴스 매체의 인용 역시 금지함을 양해해 주시기 바랍니다. 본 채널은 광고를 비롯 어떠한 수익도 창출하지 않습니다. (The opinions expressed here are my own and do not necessarily represent those of current or past employers. Please note that you are solely responsible for your judgment on checking facts for your investments and prohibit your citations as commercial content or news sources. This channel does not monetize via any advertising.)

여러분의 생각 (1개)

  1. 지나가다 댓글:

    개발자 커뮤니티 운영하는 사람에게도 좋은 통찰력을 주는 것 같네요. 공유 감사해요!