버추얼 인플루언서부터 버튜버까지
왜 세상은 버추얼 캐릭터에 열광할까

_{2017년, 만화 <총몽>을 원작으로 한 영화 <알리타: 배틀 엔젤>(2019) 예고편 공개 당시 “언캐니 밸리가 느껴진다”는 의견이 나타나기도 했어요. 언캐니 밸리(Uncanny Valley: 불쾌한 골짜기)는 로봇이 인간을 어설프게 닮을수록 사람이 느끼는 불쾌함이 증가한다는 가설이에요. ⓒLightstorm Ent.}

‘사람보다 더 사람 같은’ 캐릭터를 만들어내려는 시도는 오래 전부터 이루어졌습니다. 한국에서도 1998년 데뷔한 사이버 가수 아담 같은 사례가 있었으니까요. 하지만 버추얼 캐릭터가 본격적으로 받아들여지기 시작한 건 비교적 최근인 2010년대 후반부터의 일입니다. 현실에서는 보지 못한 개성적인 캐릭터와, 전에 없이 자연스러우면서도 다양하게 상호작용하는 모습에 많은 사람들의 이목이 집중됐죠.

이렇게 오랜 시간이 걸린 데는 기술적인 측면과 콘텐츠적인 측면이 두루 영향을 미쳤습니다. 우선 실제 인간 형태의 버추얼 캐릭터를 구현하기 위해서는 많은 비용이 필요한 첨단 기술이 필요한데, 이전의 기술력이나 적은 자본으로는 부자연스러운 인간 조형을 볼 때 느끼는 위화감(일명 언캐니 밸리)을 극복하기 어렵다는 문제가 컸어요. 더욱이 일회성 기술 시연 정도로는 투입한 비용에 비해 대중적인 이목을 끌 콘텐츠를 만들기도 쉽지 않았고요.

하지만 2010년대 들어 각종 CG 및 VR 기술, 실시간 스트리밍 환경, SNS 등의 요건들이 뒷받침되면서 다시금 버추얼 캐릭터들이 활발하게 등장하기 시작했습니다. 더욱이 코로나 팬데믹을 거치는 동안 메타버스(Metaverse) 열풍을 타고 버추얼 캐릭터들은 더더욱 많은 사람들의 주목을 받기 시작했어요. 

1) 버추얼 인플루언서

_{인스타그램 280만 팔로워를 보유한 릴 미켈라는 실제 인간인 닉(Nick Illian)과 연애를 시작하고 결별하는 과정을 공개하기도 했어요. ⓒ@lilmiquela}

2016년 공개 이후 2020년 한 해 동안 광고 수익만 약 130억 원을 벌어들인 버추얼 인플루언서 릴 미켈라(Lil Miquela)를 아시나요? 2018년 타임(TIME)이 선정한 ‘세계에서 가장 영향력 있는 25인’에 들 만큼 화제였던 릴 미켈라를 비롯해 한국에서도 오로지, 수아, 루시 등의 버추얼 인플루언서들이 등장하며 언론의 주목을 받았는데요. 자연스러운 표현을 위해 고도로 발달한 기술이 필요한 만큼 현재는 기업의 프로젝트 단위로 만들어진 버추얼 인플루언서들이 대부분이죠.

_{인공지능 기반 디지털 합성 기술 딥페이크(Deepfake)로 실제 사람의 몸에 가상 얼굴을 합성한 루이커버리. ⓒdob studio}

이렇게 실제 사람과 흡사한 모델링을 추구하는 버추얼 인플루언서들에게 두드러지는 경향은 바로 MZ 세대가 선망하고 싶어지는 대상을 가장한다는 점입니다. SNS 채널을 통해 트렌디하면서도 일상적인 모습을 공유하거나, 글로벌 팝스타 못지 않은 뮤직 비디오를 내세우는 식인데요. 활동하는 모습을 보면 일반적인 인플루언서들과 차이가 크지 않지만 실제 사람이 아니다보니 스타 자체의 노동력이나 인건비 등을 고려할 필요가 없죠. 늙거나 병들지 않아 이미지를 그대로 유지할 수 있는데다, 사회적 물의를 일으키는 등 예측 불가능한 위험 요소도 없다는 점 또한 ‘인간 인플루언서’에 비해 버추얼 인플루언서가 가진 강점입니다. 타겟이 명확한 캐릭터를 구성함으로써 팬덤 확보 전략을 세우기도 편리하고요.

_{버추얼 인플루언서 오로지(OH!_ROZY)가 패션 브랜드 캘빈 클라인(Calvin Klein)의 모델로 활동하는 모습. ⓒLOCUS-X}

물론 버추얼 인플루언서들이 실제 인간 인플루언서들처럼 온전한 의미에서의 ‘소통’을 하기에는 아직 조금 일러 보입니다. 비용, 기술력, 수익성 등을 고려하여 라이브 스트리밍 등 양방향성이나 실시간성을 강조한 콘텐츠보다는 사전에 제작된 사진이나 영상을 공유하는 경우가 흔하고요. 때문에 팬덤 자체로 직접적인 수익을 만들기보다는 기성 브랜드를 광고하는 모델로 활동하는 등 유명세를 기반으로 한 부가 수익을 내는 데 집중하는 경향이 나타나고 있어요.

2) 버추얼 유튜버

_{2021년 유튜브 슈퍼챗 글로벌 Top 5를 기록한 채널 전부 홀로라이브 소속 버튜버였다는 사실! ⓒDIFF. Inc.}

보통 버추얼 유튜버는 실제 사람이 2D/3D 캐릭터를 내세워 유튜브, 트위치 등 영상 플랫폼을 중심으로 활동하는 인터넷 방송인을 가리켜요. 팝스타 내지 ‘인싸’ 같은 모습을 추구했던 버추얼 인플루언서와는 달리 일본 만화나 게임, 재패니메이션 중심의 ‘오타쿠’ 문화 소비자를 타깃으로 시작했습니다.

_{‘버츄얼 유튜버’라는 이름을 맨 처음 언급한 버튜버 키즈나 아이(キズナアイ)는 AI 인공지능 컨셉의 ‘미소녀’ 캐릭터에 성우 더빙을 입혀 녹화된 영상을 중심으로 활동했어요. ⓒKizuna AI Inc.}

키즈나 아이 같은 일본 만화풍(萌え絵: 모에 그림체) 모델은 실사 인간형 모델에 비해 필요한 비용과 기술은 적지만 확실한 타깃층을 어필할 수 있다는 장점이 있어요. 하지만 정작 ‘1세대 버튜버’ 키즈나 아이의 경우 수익이 크지 않아 적자를 해결하기 어려웠어요. 시청자가 소비할 수 있는 콘텐츠가 약하고, 수익 모델도 불분명했기 때문이에요.

버추얼 유튜버가 상업적인 성공을 거둔 건 라이브 스트리밍 방송을 겨냥한 뒤의 일입니다. 일본 VR/AR 기술 회사의 버추얼 유튜버 프로젝트 MCN 홀로라이브(hololive)는 2018년부터 본격적으로 아이돌 그룹을 표방한 오타쿠 타깃 ‘미소녀’ 버튜버들을 공개했는데요. 홀로라이브 버튜버들은 유튜브 라이브를 중심으로 시청자들과 실시간으로 소통하며 흥행을 몰았습니다. 팬데믹으로 인한 사회적 거리두기와 맞물려 영어권 시청자 대상의 ‘홀로라이브 잉글리시’까지 히트시키면서 거대 팬덤을 보유하게 되죠. 홀로라이브가 인기를 끌면서 다른 기업은 물론 일반인들까지 버추얼 유튜버 활동에 더 많이 뛰어들기 시작했어요.

_{홀로라이브 잉글리시 소속 가우르 구라(Gawr Gura)는 데뷔한 지 불과 20개월만에 400만 구독자를 돌파했어요. ⓒhololive ENGLISH}

한국에서 가장 잘 알려진 버튜버 흥행 사례는 한 콘텐츠 크리에이터에게서 가속화됐다는 점이 조금 독특한데요. 2021년, 트위치 인기 게임 스트리머 우왁굳은 ‘이세계 아이돌 오디션 프로젝트’를 진행합니다. 시청자 ‘합방’(합동 방송)을 주력 콘텐츠 중 하나로 내세우던 우왁굳은 VRChat(VR 지향 오픈 월드 게임 플랫폼) 아바타 기반으로 활동하면서 합방 콘텐츠를 만들 버튜버 그룹 지원자들을 생방송 공개 오디션을 통해 모았죠.

그렇게 선발된 6인조 버추얼 그룹 이세계 아이돌(일명 ‘이세돌’)은 많은 인기를 끌었고, 오늘날 국내 버튜버 시장에도 큰 영향을 끼치게 됩니다. 주목할 부분은 오디션 참가자 모집, 음원과 안무/뮤직비디오 제작 등 데뷔 전 과정에 일반 시청자들이 적극적으로 개입하고 소통한 시청자 참여형 콘텐츠였다는 사실이에요.

_{이세계 아이돌의 데뷔 싱글 ‘RE : WIND’는 멜론 실시간 차트 32위를 기록하기도 했죠. ⓒ패러블 엔터테인먼트}

이세계 아이돌의 성공 이후 이제는 김장훈(숲튽훈)이나 서유리(로나로나땅) 같이 잘 알려진 연예인이 오히려 버튜버가 되거나, 지자체에서 홍보를 위해 (서울 강서구 ‘새로미’) 버튜버를 내세울 정도이기도 합니다.

_{버추얼 유튜버 ‘숲튽훈’으로 데뷔한 가수 김장훈. 우왁굳과 이세계 아이돌이 소속된 MCN과 계약을 맺고 활동하고 있어요. ⓒ패러블 엔터테인먼트}

핵심이 되는 구현 기술 세 가지
버추얼 캐릭터는 어떻게 만들까요

오늘날 버추얼 캐릭터를 만드는 데 쓰이는 다양한 기술 가운데 가장 대표적인 기술로는 (1) 캐릭터 모델링 (2) 리깅 (3) 바디/페이셜 트래킹 세 가지를 꼽을 수 있어요.

1) 캐릭터 모델링

3D 모델의 몸과 얼굴을 조형하는 데는 다양한 3D 모델링 프로그램이 쓰여요. 게임이나 애니메이션 작업을 할 때와 마찬가지로 Cinema 4D(시네마4D/C4D), Maya(마야), 3ds MAX(3ds 맥스), Blender(블렌더), Zbrush(지브러쉬) 등 다양한 툴을 선택할 수 있죠.  (인프런 3D 모델링 강의 함께 보러 가기 >>)

이때 표현하고자 하는 모델이 만화풍 캐릭터인지, 인간 실사에 가까운지에 따라 모델링 방식은 물론 렌더링 및 셰이더 적용 스타일 등이 천차만별로 달라지게 돼요. 가령 3D이지만 2D 같은 느낌을 주는 카툰 렌더링/셀 셰이딩(Cartoon Rendering/Cel Shading) 같은 기법이 잘 알려진 셰이딩 기법 중 하나입니다. 

_{3D로 만든 캐릭터가 2D풍으로 보일 수 있도록 카툰 렌더링을 적용한 게임 〈우마무스메: 프리티 더비〉. 얼굴을 부위별로 나눠 캐릭터가 다양한 표정을 자연스러우면서도 섬세하게 표현할 수 있게 개발되었어요. ⓒCygames Inc.}

이런 렌더링/셰이딩 작업에는 Unity(유니티)나 Unreal Engine(언리얼 엔진) 같은 게임 엔진을 사용하는 경우가 많아요. 게임 엔진에 탑재된 셰이더가 물리적 현상에 따른 복잡한 연산을 처리하고 명암이나 반사 등을 제어함으로써 효과적으로 그래픽을 구현하는 역할을 하기 때문이에요.

한편 홀로라이브 버튜버 중심으로 활발히 쓰이는, 3D 모델 대신 원화가 살아 움직이는 듯한 2D 애니메이팅을 활용하려고 한다면 캐릭터 일러스트를 준비해야 하는데요. 최근에는 4K 이상의 높은 해상도로 영상을 만드는 경우도 많고, 인쇄 등 상품화까지 고려한다면 그림이 깨지지 않도록 가능한 큰 사이즈의 일러스트를 마련하는 게 좋아요. 보통 포토샵(Adobe Photoshop)이나 클립스튜디오(CLIP STUDIO PAINT), 프로크리에이트(Procreate)를 써서 그리는 경우가 가장 많습니다.

2) 리깅

_{모델에 리깅을 제대로 하지 않았을 때 구부러져야 할 부위가 사탕 포장지(Candy Wrap)처럼 어색하게 비틀리는 현상을 캔디랩 현상이라고 해요. 인프런에도 3ds Max 기초 리깅 강의가 있어요! ⓒ청강문화산업대학교}

리깅(Rigging)이란 모델이 신체를 움직일 수 있게 관절과 뼈대를 나눠 심는 작업을 뜻해요. 3D 모델이라면 앞서 이야기한 3D 모델링 프로그램을 이용해 부위별로 움직임을 구현하게 되죠. 이 작업이 섬세하면 섬세할수록 모델이 부드러운 동작을 취할 수 있습니다. 버추얼 캐릭터가 팔다리는 물론 시선의 움직임을 표현하는 것도 동공에까지 리깅이 적용되어 있기 때문이에요. 

넓게는 3D 모델을 넘어 2D 일러스트에 애니메이팅을 적용하기 위해 파츠(부위)를 분리하고 움직일 수 있게 하는 밑작업까지도 리깅이라고 부르는데요. 대표적으로 Live2D, Spine 등의 2D 애니메이팅 소프트웨어가 자주 쓰입니다. 살아있는 듯한 2D 일러스트라는 핵심 기능을 잘 나타내는 직관적인 명칭 덕에, 꼭 Live2D를 사용해서 만든 결과물이 아니더라도 움직이는 2D 일러스트를 모조리 ‘라투디(Live2D)’라고 부를 정도기도 하죠.

_{게임 〈블루 아카이브〉는 2D 일러스트 애니메이션을 적용하는 데 Spine(스파인)을 사용했다고 해요. ⓒ넥슨게임즈}

3) 바디/페이셜 트래킹

대부분의 버추얼 캐릭터 모델이 실제 사람이 움직이는 대로 동작하도록 하는 바디 트래킹(Body Tracking) 기술을 적용하고 있습니다. 과거 바디 트래킹은 첨단 스튜디오 정도에서나 사용해볼 수 있는, 진입 장벽이 높은 기술이었어요. 하지만 지금은 간소화된 장비가 많이 출시되면서 전문가가 아니더라도 비교적 저렴한 비용으로 어렵지 않게 동작을 할 수 있게 되었죠. 

대중적으로 상용화된 수준에서는 보통 VR 트래커를 많이 활용해요. 전신의 움직임을 추적하고 표현할 수 있는 풀 트래킹(Full Tracking)의 경우, 허리나 다리 등에 여러 대의 VR 트래커를 장비합니다. 손가락 등 필요에 따라 추가 트래커를 장비하기도 하고요. 물론 전문가 수준의 장비로 올라가면 훨씬 고가의 모션 캡처(Motion Capture) 수트도 있죠.

_{이세계 아이돌 멤버 주르르가 아이폰을 이용해 페이셜 트래킹을 적용한 모습이에요. 고개를 움직이거나, 입을 벌리거나, 눈을 깜빡이는 모습까지 모두 구현되어 있어요. ⓒ패러블 엔터테인먼트}

얼굴의 표정과 움직임을 추적하는 ‘페이셜 트래킹(Facial Tracking)’ 기술도 빼놓을 수 없습니다. 한 가지 흥미로운 사실은 최근 페이셜 트래킹에 가장 흔히 쓰이는 장비가 다름아닌 아이폰(iPhone)이라는 점인데요. Face ID 및 애니모티콘 기능을 구성하는 아이폰의 안면 인식 기술이 입 모양이나 시선, 고개 움직임, 혓바닥이나 뺨 등 50개 이상의 파라미터(Parameter)를 인식할 수 있을 만큼 접근성에 비해 성능이 뛰어나기 때문이에요. 라이브 송출 연동도 물론 가능하고요!

앗, 내일은 내가 버추얼 스타?
벽을 낮춰가는 미래의 기술 

_{니켈로디언 VR 아티스트로 일하다 코로나19 여파로 해고된 뒤 언리얼 엔진, 풀트래킹 모션캡처 등의 기술을 이용해 버추얼 유튜버로 활동을 시작한 CodeMiko. ⓒUnderscore Talent}

대중에게 버추얼 캐릭터들이 친숙해질수록 버추얼 캐릭터를 구현하는 기술 역시 나날이 발전하고, 진입 장벽도 함께 낮아지고 있어요. 처음 이 흐름을 만든 건 물론 기술이나 자본을 갖춘 기업들이었지만, 이제는 개인도 버추얼 캐릭터를 만들고 활동할 수 있는 세상에 한 발짝 가까워져 가고 있습니다.

이미 지금도 버추얼 캐릭터 모델로 쓸 만화풍 아바타 제작 외주를 맡기거나, 플랫폼(BOOTH, nizima 등)을 통해 구입할 수도 있죠. 개인이 만드는 실사 인간형 버추얼 캐릭터조차도 실현 가능성 없는 이야기가 아니에요. 계속해서 발전하는 수많은 기술에 대한 활용해볼 여지가 충분히 열려 있으니까요. (심지어 인공지능 기술까지도요!) 이렇게 우리를 깜짝 놀라게 할 앞으로의 미래가 어떤 모습일지 궁금해지지 않나요?

_{대화형 인공지능 ChatGPT와 그림 인공지능 미드저니(Midjourney) 등을 활용해서 제작한 영상 ‘발렌시아가 해리포터’. ⓒdemonflyingfox}

• • •

지금까지 함께 살펴본 버추얼 인플루언서 & 버추얼 유튜버에 대한 이야기, 재미있으셨나요? 여러분은 앞으로 펼쳐질 세상에 대해 어떻게 바라보고 계신가요? 
버추얼 캐릭터에 대한 인프러너 여러분의 생각을 댓글로 들려주세요. 😆