Claude Code가 내 아이폰을 누른다, 오픈소스 Poki

JosssphZhou/poki는 AI 에이전트가 아이폰을 사람처럼 쓰게 하는 도구입니다. 2026년 11월 5일 공개됐고, AGPL-3.0 오픈소스이며, 11월 7일 기준 깃허브 스타 406개입니다. 설명은 README와 검증 문서를 바탕으로 했고, 직접 설치해 보지는 않았습니다.

무엇을 하나

• 맥에서 Poki 서버를 켜고, Claude Code나 Codex에 Poki MCP로 붙입니다. 에이전트가 화면을 읽고, 글자를 찾아 누르고, 칸에 입력합니다.
• 탈옥이나 별도 장비가 필요 없습니다. 실제 아이폰은 USB로 맥과 먼저 페어링합니다.
• MCP로 쓰면 지금 쓰는 Claude Code·Codex 구독을 그대로 씁니다. 따로 도는 Poki Agent(기본 모델 gpt-6.1-terra)도 있고, iMessage·Telegram으로 일을 시킬 수 있습니다.

설치

macOS 15 이상, 전체 버전 Xcode, Rust, Node.js 24 이상, ffmpeg가 필요합니다.

git clone https://github.com/JosssphZhou/poki.git
cd poki
./bin/setup
npm start

서버를 켜 둔 채 다른 터미널에서 MCP로 등록합니다.

claude mcp add --scope user poki-mcp -- node "$PWD/src/stdio.mjs"   # Claude Code
codex mcp add poki-mcp -- node "$PWD/src/stdio.mjs"                 # Codex

Apple Silicon 맥이라면 릴리스의 미리 빌드한 패키지(poki-v0.1.1-macos-arm64.tar.gz)를 받아 Rust 없이 시작할 수도 있습니다.

얼마나 빠른가

검증 문서의 iOS 27 시뮬레이터 측정값입니다(과제 한 문장, 세션 시작부터 마지막 답까지, 중앙값).

실제 아이폰 한 대(iOS 27.3, Wi-Fi)에서는 MCP의 tap_text가 12번 중 12번 먹었고, 검색 칸 fill은 6번 중 6번 성공했지만 한 번에 15초쯤 걸렸습니다.

조심할 점

• 실제 아이폰은 중국어 화면, 세로 방향에서만 검증됐습니다. 한국어 화면에서는 버튼을 못 찾을 수 있습니다. 가로 화면 조작은 지원하지 않습니다.
• Poki는 기기에서 행동을 다시 묻지 않습니다. 메시지를 보내거나 결제하라고 하면 그대로 합니다.
• 화면 내용은 설정한 모델 서비스로 전송됩니다.
• 앱 실행 직후 너무 빨리 누르면(1.5초) 먹지 않았고, 화면 아래 떠 있는 막대 옆 버튼은 누르지 못한 기록이 있습니다.
• 남의 앱을 자동으로 조작하면 그 서비스 약관에 어긋날 수 있다고 README가 적었습니다.

오늘 할 일

실제 아이폰보다 시뮬레이터로 먼저 돌려 보세요. 시뮬레이터 경로는 새로 받은 저장소에서 처음부터 끝까지 시험된 길입니다.

쇼츠로 보기

이 글은 비치콤버스 쇼츠 No.38의 짝 글입니다. 짧은 주소 beachcombers.co.kr/s/38.