이미지 · AI 생성

기술

불은 안 났는데 물에 잠길 뻔한 서버실: Jane Street 스프링클러 사건

Jane Street 시스템 팀에 있던 Michael Bacarella가 쓴 실화입니다. 공사 먼지에 울린 가짜 화재 경보가 냉방을 끄고, 서버 열이 스프링클러를 터뜨리기 직전까지 갔습니다. 막은 것은 걸어서 9분 거리에 살던 엔지니어의 두 손이었습니다.

미국 트레이딩 회사 Jane Street의 시스템 팀에 있던 Michael Bacarella가 11월 10일 옛 사건 하나를 블로그에 썼습니다. 제목은 “가짜 화재 경보가 Jane Street의 하나뿐인 뉴욕 데이터센터를 익사시킬 뻔한 이야기”입니다.

서버실을 거래층 옆에 둔 이유

Jane Street는 오랫동안 서버실을 거래하는 층 바로 옆에 두었습니다. 이유는 두 가지였습니다. 하나는 서버를 도둑맞아 매매 전략이 새는 것을 막으려는 것, 다른 하나는 자동 매매 시스템이 폭주하면 복도를 건너 뛰어가서 전원선을 뽑을 수 있게 하려는 것이었습니다.

이 위험 관리 문화는 핵잠수함에서 복무한 파트너에게서 많이 왔다고 합니다. 잠수함에서는 자동 장치를 믿지 않습니다. 빨갛게 칠한, 기계적으로 연결된 레버를 당겨 끌 수 있어야 믿습니다.

경보가 울리면 생기는 일

어느 날 저녁 서버실 옆방 공사에서 먼지가 일어 화재 경보가 울렸습니다. 이 건물 서버실의 스프링클러는 이렇게 동작했습니다.

  1. 평소에는 배관이 비어 있습니다. 머리 위에서 물이 새는 일을 막기 위해서입니다.
  2. 연기를 감지하면 배관에 압력 걸린 물이 찹니다. 아직 뿌리지는 않습니다.
  3. 물을 뿌리는 것은 열입니다. 스프링클러 머리마다 열에 녹는 마개가 있어서, 주변이 충분히 뜨거워지면 열립니다.
  4. 그리고 연기가 나면 공기를 계속 돌리면 안 되니, 화재 경보는 냉방기(CRAC)를 끕니다.

불은 없었으니 열도 없고, 그러니 물도 안 뿌릴 거라고 생각하기 쉽습니다. 문제는 4번입니다. 서버가 가득한 방에서 냉방이 꺼지면 서버가 내는 열로 온도가 오릅니다. 물이 찬 스프링클러 밑에서요.

걸어서 9분

글쓴이는 출퇴근이 지겨워 사무실에서 걸어서 9분 거리 원룸에 살고 있었습니다. 홍콩 사무실에서 전화가 왔고, 그는 (하필 이름도) Water Street를 달려 1 New York Plaza 33층으로 올라갔습니다. 사우나 같은 서버실에 들어가 줄마다, 캐비닛마다 두 손으로 전원선을 뽑았습니다.

온도계는 141℉, 142, 143, 143.5, 143.6에서 멈췄습니다. 섭씨로 약 62℃입니다. 그가 정한 한계는 150℉(약 65.6℃)였습니다. 장이 닫힌 뒤라 피해는 적었고 다음 날 아침 정상으로 돌아왔습니다.

글쓴이의 문장을 옮기면 이렇습니다. “서버실을 복도 건너편에 둔 건 누군가 언제든 뛰어 들어가 전원선을 뽑을 수 있게 하려는 것이었다. 그걸 스프링클러로부터 서버를 구하려고 하게 될 줄은 아무도 몰랐을 것이다.”

그다음에 만든 것

홍콩 팀은 운 좋게 화면에서 서버들 온도가 줄줄이 오르는 것을 보고 알아챘습니다. 서버 한 대가 조금 뜨거운 일은 흔해서 따로 알림을 걸지 않았기 때문입니다. 글쓴이는 다음 날 매분 모든 리눅스 서버에 온도를 물어 평균을 내고, 평균이 조금만 높아도 팀 전체에 알리는 감시 프로그램을 OCaml로 짰습니다. 냉방기 상태나 방 온도 센서보다 서버들에게 직접 묻는 쪽이 더 믿을 만했다고 합니다.

출처

김현빈 Developer & Writer

기술, 포스팅 관련 질문, 프로젝트 협업 등 연락주시면 언제든지 회신 드립니다.

esc

↑↓ 고르기↵ 열기? 단축키

해변에서 주운 것

읽으러 가기 →
guest@beachcombers — zsh

단축키

⌘K 또는 /
글·작업·개발일지 찾기
R
해변 산책 — 아무 글 하나 줍기
`
터미널 열기
←→
쪽 넘기기 (휠·스와이프도 됩니다)
?
이 안내
esc
닫기