AI 기술에 관한 연구는 이제 마무리 단계에 온 것 같아 요즘은 강의 자료와 그간의 작업 기록을 남기는 중이다. 필자는 2023년부터 만화 제작에 AI를 활용해 왔다. 처음에는 쓸 만한 이미지를 고르느라 많은 시간을 할애했는데 차츰 캐릭터 동작과 장면을 조율하는 시간이 많아졌고, 지금은 콘티와 스킬을 활용하면서 한 사람이 여러 작품을 병행할 수 있게 되었다.
작품을 직접 만들면서 발견한 방법은 책으로, 강의로 설명했다. 여전히 창작자에게 남아 있는 일은 이야기의 맥락을 읽고, 장면의 순서를 정하고, 내 의도에 맞는 원고로 마무리하는 것이다. 이 기록은 그 변화와 아직 진행 중인 실험을 담고 있다.
2023년 처음 책을 쓰고 실제 의뢰에 적용하다
2023년 4월 21일 를 출간했다. 8월에는 S사의 의뢰로 사내 홍보 만화를 만들었다. 당시 작업 중 공개하지 않은 B컷 이미지들은 초창기 작업 방식을 잘 보여 주는 기록이다.
사용한 도구는 미드저니와 포토샵, 일러스트레이터였다. 미드저니로 어마어마한 양의 캐릭터와 장면을 뽑아 놓고, 그중 사용할 수 있는 걸 찾았다. 비슷해 보이는 얼굴을 골라 장면에 맞게 손을 봤고, 필요한 부분은 편집 프로그램에서 다시 조합했다. 생성 버튼을 누른 뒤에도 선택과 수정의 과정이 길게 이어졌다.
지금 생각하면 ‘노동 집약적’인 작업이었다. 그리는 일의 일부를 AI가 맡았지만, 원하는 장면을 얻기까지 들어가는 수고가 만만치 않았다. 완성된 이미지 한 장이 마음에 들어도 다음 컷에 같은 인물이 등장해야 했고 만화 안에서 앞뒤 장면이 이어져야 했다. 내가 실제로 필요했던 건 그런 원고였다.
당시의 고민은 글과 강의에도 남아 있다. 2023년 <지금, 만화> 제19호에는 ‘AI의 만화 생성 어디까지 왔나’를 기고했다. 가능해진 일에 놀라고 곧바로 다른 한계에 부딪히는 경험, 작가의 스타일과 개성을 어떻게 유지할 것인지에 관한 질문을 적었다. 같은 해 K-Comics 아카데미에서는 ChatGPT와 미드저니를 다루는 강의도 진행했다. 작업하면서 배운 것을 밖으로 꺼내 설명하는 일이 이때부터 시작됐다.
2024년 한 페이지에서 연속된 만화로 작업을 넓히다
2024년 1월 학생들과 AI 만화 작품을 만들어 전시했다. 혼자 시험하던 방법을 학생들의 작품에도 적용하면서, 각자 하고 싶은 이야기와 그림을 어떻게 연결할지 함께 고민하는 시간이었다. 온라인 강의 플랫폼 패스트캠퍼스의 강의도 준비하면서 스스로 많이 공부한 시기였다.
4월 3일 <생성형 AI로 웹툰 만화 제작하기>를 출간했다. 이 책에서는 스테이블 디퓨전과 미드저니, 챗GPT를 활용해 스토리를 기획하고 캐릭터와 배경, 소품과 표정을 만들어 가는 제작 과정을 정리했다. 실제 원고에서 무엇이 필요한지 생각하며 여러 도구의 역할을 연결한 작업이었다.
8월에는 강의하면서 1페이지짜리 만화를 만들었다. 미드저니로 생성하고 포토샵과 일러스트레이터로 편집하는 방식이었다. 9월에는 과학창의재단 과학만화가 양성 과정에서 미드저니와 일러스트레이터를 활용해 6페이지 만화를 만들었다. 한 페이지를 완성하는 작업에서 여러 페이지의 흐름을 이어가는 작업으로 분량이 늘어났다.
분량이 늘면 인물의 얼굴과 의상, 배경의 연결, 컷의 크기와 읽는 순서를 계속 살펴야 한다. 한 컷씩 잘 나왔다는 이유만으로 원고가 자연스럽게 읽히는 건 아니었다. 생성한 이미지를 어떻게 만화의 흐름 안에 넣을지가 점점 더 큰 과제가 됐다.
이 무렵에는 에듀코카의 ‘새로운 어시스턴트, AI가 온다’, 패스트캠퍼스의 ‘AI 캐릭터 작화와 콘텐츠 제작’ 강의로 경험을 공유했다. 9월 24일 출간한 공저 에는 ‘AI로 완성하는 책 표지 제작기’로 참여했다. 이 글에는 <진흙탕 출퇴근>, <살의의 형태>, <수상한 델리고 마을에서 온 초대장>의 표지 작업 과정도 담았다. 작품 제작과 함께 클라이언트의 요구를 해석하고 콘셉트를 정해 이미지로 옮기는 과정도 기록으로 쌓이고 있었다.
2025년 연구의 질문과 장면 제작 방식이 함께 달라지다
2025년 2월 27일에는 를 출간했다. 그동안의 실험을 바탕으로 AI가 만화 창작과 교육, 산업에 어떤 변화를 가져오는지 살펴본 책이다. 내가 만드는 한 편의 원고에서 출발한 고민이 작가의 역할과 제작 환경에 관한 질문으로 이어지고 있었다.
실제 작업에서 큰 변화를 느낀 건 3월이었다. 제미나이로 이미 만들어 둔 캐릭터의 동작을 바꿀 수 있게 되자, 바로 만화 제작에 적용했다. 그렇게 미드저니와 제미나이를 오가며 이미지를 만들고 캔바로 편집한 작품이 〈신경 쓰지 마〉다.
이전에는 내가 원하는 동작에 가까운 이미지를 찾아 수없이 생성해야 했다면 이제는 기준이 되는 캐릭터를 놓고 다른 동작과 장면을 요청하는 방법을 사용할 수 있었다. 선택과 수정이 여전히 필요했지만, 원고를 만드는 출발점이 달라졌다.
기술 연혁으로 보면 이때는 제미나이 자체가 처음 등장한 시기라기보다 대화형 이미지 생성과 편집 기능을 만화 제작에 적극적으로 적용하기 시작한 시기다. 구글은 2025년 3월 12일 제미나이 2.0 플래시의 이미지 생성 · 편집 기능을 개발자 실험용으로 공개했고, OpenAI는 3월 25일 GPT-4o 이미지 생성을 발표하면서 Sora에서도 이용할 수 있다고 알렸다. 내가 작업에서 느낀 변화가 이런 기능의 발전과 맞물려 있었다.
2025년 학습 만화 120페이지의 배경을 맡다
같은 해 3월에는 학습 만화 배경 작업도 시작했다. 당시 Sora가 제공하던 이미지 생성 기능을 사용해 120페이지에 들어가는 배경을 제작했다. 6주 동안 매주 20페이지 분량을 작업해 전달하는 일정이었다. 한 페이지에는 보통 5∼6컷이 들어갔다.
주중에는 학교 강의가 있어 주말에 집중해 작업할 수밖에 없었다. 토요일에 작업하고, 그날 마무리하지 못한 분량이나 도저히 프롬프트가 떠오르지 않아 미뤄 둔 장면들은 추가 시간을 내서 보완했다. 한 페이지에 한 시간 정도 걸렸다는 기억을 기준으로 하면, 주당 20페이지에 약 20시간을 쓴 셈이다.
그 시간에는 이미지를 생성하는 일만 한 게 아니다. 글 콘티와 그림 콘티를 먼저 읽고, 장면이 어느 시대와 나라에 해당하는지 확인하고, 그 공간을 어떤 앵글로 보여 줄지 판단해야 했다. 콘티에서 인물이 서 있을 자리를 생각하고, 그 인물 뒤로 어떤 공간이 보여야 하는지도 정해야 했다.
길다면 긴 시간이지만, 강의와 병행하면서 정해진 분량의 배경을 계속 전달할 수 있었다는 점에서 내게는 큰 변화였다. 이 작업은 AI를 실제 제작 일정에 넣어 사용할 수 있는지 확인한 경험이기도 했다. 지금은 Sora의 웹과 앱 서비스가 종료되었지만, 당시에는 이 배경 작업을 가능하게 한 중요한 도구였다.
2025년 공동 만화책과 반복 제작 도구를 고민하다
4월 28일에는 김덕진, 김한재, 이종범, 송태민이 함께 만든 <만화와 인공지능>이 출간됐다. 이른바 ‘지브리 AI’ 열풍이 일던 때, 나도 그 변화의 한가운데에서 AI로 만화를 만들어 보고 있었다. 이미지가 화제가 되는 속도만큼 실제로 이야기를 끝까지 완성해 보는 경험도 필요하다고 느꼈다.
작품을 계속 만들면서 반복되는 작업을 묶어 둘 방법에도 관심이 생겼다. 6월에는 주제와 캐릭터를 넣으면 에피소드와 대사, 네 컷의 구성, 이미지 프롬프트와 크레디트까지 정리해 주는 GPTs 기반 제작 도구를 구상했다. 결과물을 만드는 데 필요한 단계를 한 번에 이어 보려는 생각이었다.
11월 휴넷에서 진행한 ‘AI 웹툰 과정 구성’ 기록에도 대사 설계와 콘티, 캐릭터의 포즈 · 움직임 · 표정, 배경 제작, 세로 스크롤 편집, 영상화가 연결되어 있다. 여러 기능을 따로 배우는 것에서 더 나아가, 이야기가 원고가 되고 다시 영상으로 이어지는 순서를 교육에 담으려 했다.
2025년 말부터 2026년 상반기까지 콘티를 중심에 놓다
2025년 11월에는 나노바나나로 콘티를 바탕으로 만화 장면이 만들어지는 걸 확인했다. 내가 설계한 화면을 직접 제시하고, 캐릭터와 배경의 기준을 함께 전달해 원고로 발전시키는 가능성을 본 것이다. 글로만 설명하기 어려운 구도와 동작을 콘티가 도와주기 시작했다.
이 경험을 정리한 책이 <나노바나나로 AI툰 제작하기>다. 2026년 2월 27일 출간했고, 4월에는 북 콘서트에서 실제 작업 노하우와 바이브 코딩 앱 활용, AI 만화 연재 경험 등을 공유했다. 기능이 바뀔 때마다 내가 먼저 원고에 적용해 보고, 그 과정을 다른 사람도 이해할 수 있도록 설명하는 일이 이어졌다.
6월에는 초보자가 따라올 수 있는 제작 과정을 구축하면서 아이스크림 홈런의 교직원 대상 강의 콘텐츠를 제작했다. ChatGPT로 글 콘티를 정리하고 나노바나나로 이미지를 생성해 캔바로 편집했다.
작업에 익숙한 사람에게는 당연한 순서라도 처음 배우는 사람에게는 문턱이 된다. 무엇을 먼저 정해야 하는지, 캐릭터와 배경 이미지는 언제 준비해야 하는지, 한 컷을 만들 때 어떤 자료를 함께 보여 줘야 하는지 설명할 수 있어야 했다. 내가 해 온 작업을 수업으로 옮기는 과정에서 내 제작 순서도 더 분명해졌다.
김한재
·강동대학교 만화애니메이션콘텐츠과 교수
·애니메이션 산업, 캐릭터 산업, 만화 산업 백서 집필진
·저서: 생성형 AI로 웹툰 · 만화 제작하기(2024) 외 3편
아이러브캐릭터 / 김한재 칼럼니스트 hanjae.elly.kim@gmail.com
[ⓒ 아이러브캐릭터. 무단전재-재배포 금지]