미국 트레이딩 회사 Jane Street의 시스템 팀에 있던 Michael Bacarella가 11월 10일 옛 사건 하나를 블로그에 썼습니다. 제목은 “가짜 화재 경보가 Jane Street의 하나뿐인 뉴욕 데이터센터를 익사시킬 뻔한 이야기”입니다.
서버실을 거래층 옆에 둔 이유
Jane Street는 오랫동안 서버실을 거래하는 층 바로 옆에 두었습니다. 이유는 두 가지였습니다. 하나는 서버를 도둑맞아 매매 전략이 새는 것을 막으려는 것, 다른 하나는 자동 매매 시스템이 폭주하면 복도를 건너 뛰어가서 전원선을 뽑을 수 있게 하려는 것이었습니다.
이 위험 관리 문화는 핵잠수함에서 복무한 파트너에게서 많이 왔다고 합니다. 잠수함에서는 자동 장치를 믿지 않습니다. 빨갛게 칠한, 기계적으로 연결된 레버를 당겨 끌 수 있어야 믿습니다.
경보가 울리면 생기는 일
어느 날 저녁 서버실 옆방 공사에서 먼지가 일어 화재 경보가 울렸습니다. 이 건물 서버실의 스프링클러는 이렇게 동작했습니다.
- 평소에는 배관이 비어 있습니다. 머리 위에서 물이 새는 일을 막기 위해서입니다.
- 연기를 감지하면 배관에 압력 걸린 물이 찹니다. 아직 뿌리지는 않습니다.
- 물을 뿌리는 것은 열입니다. 스프링클러 머리마다 열에 녹는 마개가 있어서, 주변이 충분히 뜨거워지면 열립니다.
- 그리고 연기가 나면 공기를 계속 돌리면 안 되니, 화재 경보는 냉방기(CRAC)를 끕니다.
불은 없었으니 열도 없고, 그러니 물도 안 뿌릴 거라고 생각하기 쉽습니다. 문제는 4번입니다. 서버가 가득한 방에서 냉방이 꺼지면 서버가 내는 열로 온도가 오릅니다. 물이 찬 스프링클러 밑에서요.
걸어서 9분
글쓴이는 출퇴근이 지겨워 사무실에서 걸어서 9분 거리 원룸에 살고 있었습니다. 홍콩 사무실에서 전화가 왔고, 그는 (하필 이름도) Water Street를 달려 1 New York Plaza 33층으로 올라갔습니다. 사우나 같은 서버실에 들어가 줄마다, 캐비닛마다 두 손으로 전원선을 뽑았습니다.
온도계는 141℉, 142, 143, 143.5, 143.6에서 멈췄습니다. 섭씨로 약 62℃입니다. 그가 정한 한계는 150℉(약 65.6℃)였습니다. 장이 닫힌 뒤라 피해는 적었고 다음 날 아침 정상으로 돌아왔습니다.
글쓴이의 문장을 옮기면 이렇습니다. “서버실을 복도 건너편에 둔 건 누군가 언제든 뛰어 들어가 전원선을 뽑을 수 있게 하려는 것이었다. 그걸 스프링클러로부터 서버를 구하려고 하게 될 줄은 아무도 몰랐을 것이다.”
그다음에 만든 것
홍콩 팀은 운 좋게 화면에서 서버들 온도가 줄줄이 오르는 것을 보고 알아챘습니다. 서버 한 대가 조금 뜨거운 일은 흔해서 따로 알림을 걸지 않았기 때문입니다. 글쓴이는 다음 날 매분 모든 리눅스 서버에 온도를 물어 평균을 내고, 평균이 조금만 높아도 팀 전체에 알리는 감시 프로그램을 OCaml로 짰습니다. 냉방기 상태나 방 온도 센서보다 서버들에게 직접 묻는 쪽이 더 믿을 만했다고 합니다.
출처
- Michael Bacarella, How a false smoke alarm almost drowned Jane Street’s only NYC datacenter (2026-11-10)
- 대표 이미지는 AI로 만든 사진입니다. 실제 Jane Street 서버실이 아닙니다.
- 쇼츠: 비치콤버스 No.105