Linum은 생성형 영상 모델을 처음부터 직접 학습하는 두 사람의 연구실입니다. 11월 4일 블로그 글 Training a Text-to-Image Model for $21K에서 다음 영상 모델로 가는 길에 만든 이미지 모델을 실험 버전으로 공개했습니다. 코드와 가중치는 Apache-2.0입니다.
모델
- 20억 파라미터 DiT와 40억 파라미터 글 인코더
- 512px로 배우고 마지막에 1024px로 다듬음
- 블로그에 결과 그림 249장(사람, 동물, 건물, 제품, 풍경, 그림체)과 프롬프트를 모두 공개
학습비 내역
| 항목 | 내용 |
|---|---|
| 하드웨어 | H100 64장(8노드) |
| 사전 학습 | 8,415 H100시간 × $2.50 = $20,348(재시작 포함) |
| 후속 학습 | $690 |
| 합계 | $21,038 |
| 학습에 쓴 그림 | 약 6억 6천만 장(512px 6억 1천만, 1024px 5천만) |
압축 모델 없이 픽셀로
보통의 이미지·영상 모델은 VAE 같은 별도 압축 모델이 그림을 줄여 준 공간에서 학습합니다. Linum의 Pyramid-JiT(P-JiT)는 VAE 없이 픽셀을 바로 다룹니다. 대신 그림을 32×32 덩어리로 묶어, 흔히 쓰는 16×16보다 토큰을 4분의 1로 줄였습니다. 블로그는 이 구조가 이전 Linum v2보다 11배 적은 학습으로 수렴했다고 적었습니다. 영상 모델에서는 어텐션 비용이 가장 큰 병목이라, 토큰을 줄이는 것이 곧 학습과 생성 비용을 줄이는 길이라는 설명입니다.
아직 약한 것
- 글자가 든 그림(인포그래픽, 문서, 슬라이드)으로 학습하지 않아 글자나 포스터를 못 만듭니다.
- 작은 모델이라 사람 전신, 많은 물체(자동차 여섯 대, 군중), 여러 사람이 어울리는 장면, 세상 지식이 약합니다. 가끔은 맞게 그리기도 합니다.
오늘 할 일
Hugging Face에서 가중치를 받아 내 프롬프트로 한 장 그려 보세요. 블로그의 249장과 프롬프트를 먼저 보면 이 모델이 잘하는 쪽이 보입니다.
쇼츠로 보기
이 글은 비치콤버스 쇼츠 No.58의 짝 글입니다. 짧은 주소 beachcombers.co.kr/s/58.