speridlabs/idol은 물체 사진 한 장을 3D 가우시안 스플랫으로 바꾸는 모델입니다. 라이선스는 Apache-2.0이고, 코드는 idol-sdk, 바로 써 보는 체험 페이지가 있습니다.
사진, 렌더, AI로 만든 그림을 넣으면 배경을 지우고 물체를 프레임에 맞춘 뒤, 사진에 없던 옆과 뒤까지 채운 3D 가우시안을 최대 1,048,576개 만듭니다. 결과는 표준 3DGS .ply 파일이라 가우시안 스플랫 뷰어에서 돌려 봅니다.
설치
1. 이미지 인코더 접근 권한 받기. Idol은 Hugging Face의 게이트 모델 두 개로 입력을 읽습니다. 각 페이지에서 약관에 동의하고 hf auth login으로 한 번 로그인합니다.
- facebook/dinov3-vith16plus-pretrain-lvd1689m
- black-forest-labs/FLUX.2-dev (VAE만 받음)
2. 코드 설치. Python 3.10 이상, PyTorch 2.5 이상, CUDA가 되는 NVIDIA 그래픽카드가 필요합니다.
git clone https://github.com/speridlabs/idol-sdk.git
cd idol-sdk
pip install -e .3. 만들기. 처음 실행 때 가중치(약 3GB)와 인코더가 자동으로 내려받아집니다.
python -m idol.sample --image photo.jpg --mode real # 사진
python -m idol.sample --image renders/ --mode synthetic # 렌더·생성 이미지결과로 .ply, 모델이 본 입력 그림, 예측한 카메라 정보가 나옵니다. --num_gaussians로 알갱이 수를 32,768~1,048,576 사이에서 정합니다(기본 262,144).
얼마나 빠른가
50단계, 알갱이 262,144개 기준 한 장에 걸린 시간입니다. 필요한 메모리는 최대 7.2GB입니다.
| GPU | 시간 |
|---|---|
| B300 | 3.4초 |
| H100 | 6.7초 |
| RTX 5090 | 14.1초 |
| RTX 4090 | 19.1초 |
| RTX 3080 | 46.2초 |
비교 시험
모델 카드는 TripoSplat, TRELLIS, LGM과 입력 시점, 그리고 처음 보는 일곱 시점에서 비교했습니다. 새 시점의 CLIP 점수는 Idol 0.885, TripoSplat·TRELLIS 0.868, LGM 0.784였고, DINOv2 점수와 선명도 지표에서도 Idol이 가장 좋았습니다. 픽셀 오차(PSNR)만은 LGM이 높았는데, 모델 카드는 결과가 흐려도 평균 오차가 낮게 나오는 지표라서라고 설명합니다.
쓰기 전에
- NVIDIA GPU와 CUDA가 필요합니다. 맥이나 그래픽카드 없는 컴퓨터라면 체험 페이지부터 쓰세요.
- 모델 가중치는 Apache-2.0이지만, 함께 쓰는 DINOv3와 FLUX.2-dev는 각자의 약관을 따릅니다.
오늘 할 일
체험 페이지에 책상 위 물건 사진 한 장을 올려 보세요. 배경이 단순하고 물체가 화면을 적당히 채운 사진일수록 결과가 깔끔합니다.
쇼츠로 보기
이 글은 비치콤버스 쇼츠 No.56의 짝 글입니다. 짧은 주소 beachcombers.co.kr/s/56.