CV-02 팀 도라에몽

김찬우, 남현우, 류경엽, 이규섭, 이현지, 한주희

1. 프로젝트 개요

1.A. 프로젝트 배경

Diffusion 계열 모델의 발전으로 Text-to-Image task에 대한 연구가 활발하게 진행되었고 현실에 있을 법한 이미지 뿐만 아니라 캐릭터 이미지 생성에 대한 관심이 크게 증가했습니다.

자동 그림 채색(Art Colorization), Style Transfer(Face2anime, Sketch2anime), 애니화(Animation Inbetween)와 같이 AI 모델이 작가와 일러스트레이터를 어시스트할 수 있는 연구들이 진행되었으며 네이버 웹툰의 경우 Webtoon AI Painter 서비스를 통해 작가들에게 채색과 배경 그리기 등을 지원하고 있습니다.

개인 웹툰 작가 지망생 또는 일러스트레이터를 위한 asset 생성 및 관리서비스 ‘Oh My Assistant’를 제안합니다. 제공하는 서비스는 크게 두가지로 작가의 그림체를 학습해 해당 그림체로 웹툰 또는 일러스트에 사용할 수 있는 배경 생성과 캐릭터의 자세를 원하는 자세로 바꿔주는 캐릭터 포즈 변경 서비스입니다.

서비스를 통해 작가 및 일러스트레이터는 원하는 reference를 쉽게 얻을 수 있어 이를 기반으로 그림 그리는 시간 단축을 기대합니다.

1.B. 환경

• 컴퓨팅 환경

  6인 1팀, 인당 NCP V100 서버를 VSCode와 SSH를 연결해 사용

• 기술 스택

  프레임워크	FastAPI	React
  인프라	AWS S3	EC2	NCP	docker

• 협업 환경

  Notion, Github, Figma, ERDCloud, Swagger

2. 팀 구성 및 역할

<aside> 🤖 모델링 팀

• 김찬우_T6141
  • Styler Transfer 모델 리서치
  • 기학습된 StableDiffusion 모델에 LoRA 방법론을 적용한 배경 생성 모델 실험 / 평가 / 개선
  • NCP 환경에 FastAPI를 활용한 배경 생성 모델 서버 구현
• 남현우_T6049
  • Styler Transfer 모델 리서치
  • Style Transfer 모델(dreamstyler)을 사용한 가설검증 및 실험
• 이현지_T6114
  • Pose Transfer 모델 리서치
  • Pose Transfer 모델 실험 </aside>

<aside> 🛠 개발 팀

• 류경엽_T6051

  백엔드 및 인프라 구축

• 이규섭_T6112

  백엔드 개발

• 한주희_T6182

  프론트엔드 개발

</aside>

3. 프로젝트 진행 및 설계