기술

아이폰으로 찍은 방을 AI가 3D로 다시 짓는다, Wes Bos의 3D Model Anything

라이다 아이폰으로 방을 스캔하고 코딩 에이전트가 Three.js 장면으로 다시 짓는 오픈소스 3D Model Anything. 흐름, 뷰어, 스킬 쓰는 법, 아직 안 되는 것을 정리했습니다.

wesbos/3d-model-anything은 개발자 Wes Bos가 공개한 저장소입니다. 아이폰으로 방을 찍고, 그 치수와 사진을 근거로 코딩 에이전트가 웹에서 돌려 볼 수 있는 Three.js 장면을 다시 짓습니다. 2026년 10월 21일 공개됐고 깃허브 스타는 약 2,800개입니다(11월 7일 기준).

저장소에는 네 가지가 들어 있습니다.

  • 방을 기록하는 아이폰 앱
  • Three.js 뷰어
  • 에이전트용 스킬 scan-to-threejs
  • Wes의 사무실을 다시 지은 예시

흐름

  1. 기록: 라이다가 있는 아이폰·아이패드 앱으로 방을 스캔합니다. 앱은 방의 치수(형상)와 사진을 함께 남깁니다. 라이다가 없는 기기로는 스캔을 불러와 보는 것만 됩니다.
  2. 다시 짓기: 내보낸 파일을 data/captures-in/<방 이름>/에 풀고, 스킬을 지원하는 에이전트에게 scan-to-threejs를 쓰라고 합니다. 스킬은 치수를 재고, 물건을 하나씩 만들고, 원본 사진과 같은 카메라 각도에서 렌더한 화면을 비교하게 이끕니다.
  3. 고치기: 비교해서 다른 곳을 고치고 다시 비교합니다.

README가 직접 적어 둔 대로, 한 번 누르면 완벽한 모형이 나오는 변환기는 아닙니다. 에이전트와 여러 번 주고받으며 다시 짓는 방식입니다.

요청 예시(README):

Use scan-to-threejs to rebuild the room in data/captures-in/my-room. Inspect the measurements and photos, create an editable scene, and compare rendered views with the original photographs.

뷰어

공식 뷰어에서 Wes의 사무실이 바로 열립니다.

  • Dollhouse: 인형의 집처럼 지붕 없이 내려다보기
  • Walk around: 방 안을 걸어 다니기
  • Knolling: 물건을 같은 축척으로 줄 맞춰 펼쳐 놓기. 사무실 예시에는 197개 물건과 묶음이 있습니다.
  • 위·앞·옆 카메라, 와이어프레임, 지금 보는 위치를 링크로 저장하는 기능도 있습니다.

로컬에서 돌리려면 Node.js 22.12 이상에서 npm ci && npm run dev 후 http://localhost:5188을 엽니다. 원본 스캔과 사진은 배포하지 않아서, 예시 방에서는 Scan·Overlay 보기가 꺼져 있습니다.

볼 점

  • 아이폰 앱은 아직 앱스토어에 없습니다. 소스가 공개되어 있어 Xcode로 직접 빌드해야 합니다. README도 앱스토어 배포를 기대하지 말라고 적었습니다.
  • 지금은 방(실내) 위주입니다.
  • 스킬 도우미는 Python 3, 사진 비교는 Pillow가 필요합니다.
  • 코드와 스킬은 MIT이고, 사무실 이미지·텍스처는 따로 자산 약관이 붙습니다.
  • 내 방을 공개 데모로 올릴 때는 사진 속 개인 물건을 먼저 확인하세요.

오늘 할 일

웹 뷰어에서 Wes의 사무실 데모를 돌려 보세요. Knolling 보기에서 물건 197개가 펼쳐지는 화면이 이 방식의 결과물을 가장 잘 보여 줍니다.

쇼츠로 보기

이 글은 비치콤버스 쇼츠 No.88의 짝 글입니다. 짧은 주소 beachcombers.co.kr/s/88.

김현빈 Developer & Writer

기술, 포스팅 관련 질문, 프로젝트 협업 등 연락주시면 언제든지 회신 드립니다.

esc

↑↓ 고르기↵ 열기? 단축키

해변에서 주운 것

읽으러 가기 →
guest@beachcombers — zsh

단축키

⌘K 또는 /
글·작업·개발일지 찾기
R
해변 산책 — 아무 글 하나 줍기
`
터미널 열기
←→
쪽 넘기기 (휠·스와이프도 됩니다)
?
이 안내
esc
닫기