경쟁은 좋다. 월요일 밤은 우리가 왜 만들고 있는지 상기시켜 줬다.

우리는 경쟁의 가치를 굳게 믿는다. Texas Card House와 The Lodge가 오스틴 포커에 한 일을 보라 — 서로를 밀어붙이며 수준을 끌어올린 두 훌륭한 포커룸 덕분에 오스틴은 미국 최고의 포커 도시 중 하나로 떠올랐다. 커뮤니티 전체에 환상적인 일이다. 밀물이 오면 모든 배가 떠오른다.

그래서 월요일 밤 Hijack에서 벌어진 일을 이야기하는 건 고소해하려는 게 아니다. 이런 순간이야말로 우리가 salty.poker를 만들고 있는 이유이자, 우리가 더 잘할 수 있다고 믿는 이유이기 때문이다.

월요일 밤에 벌어진 일

월요일 저녁. 프라임타임. 플레이어들이 자리에 앉을 준비를 마친 시간.

Hijack이 다운됐다. 테이블 제로. 플레이어 제로. 완전 장애.

우리는 오후 6시 5분에 이를 포착했다 — 로그인 실패, 테이블 없음, 활동 없음. Hijack이 자사 사용자들에게 문제 발생을 알리는 푸시 알림을 보낸 건 오후 6시 50분이었다. 대부분의 플레이어가 뭔가 잘못됐다는 걸 알기도 전에 우리는 이미 45분 동안 이를 지켜보고 있었다. 플랫폼은 오후 7시 53분에 복구됐다 — 월요일 저녁, 총 1시간 48분의 다운타임.

진심으로 그들이 해결하길 바란다. 건강한 온라인 포커 생태계는 모두에게 좋고, 거기엔 salty.poker도 포함된다.

salty.poker는 이런 상황에 대비해 설계됐다

이런 장애는 무작위로 일어나는 불운이 아니다. 초기 단계에서 내려진 — 혹은 아예 내려지지 않은 — 아키텍처 결정의 결과다. 복원력은 출시 후에 덧붙이는 것이 아니다. 첫 줄의 코드를 쓰기 전에 설계해 넣는 것이며, 우리는 정확히 그렇게 했다.

salty.poker는 Microsoft Azure 위에 모든 계층에서 이중화를 갖춘 구조로 만들어졌다. 오토스케일링은 트래픽 급증이 사건이 되기 전에 흡수한다. 헬스 체크와 자동 페일오버는 구성 요소 하나가 고장 나도 시스템 전체가 쓰러지지 않도록 한다. 우리 모니터링은 문제를 빠르게 감지하도록 설계돼 있으며 — 월요일 밤이 보여줬듯이, 때로는 장애를 겪고 있는 플랫폼 본체보다 더 빠르게 감지한다.

목표는 단순하다: 무언가가 고장 났을 때 — 그리고 결국 무엇이든 고장 나기 마련이다 — 테이블은 계속 돌아가고, 플레이어는 자리에 앉아 있고, 대부분의 사람들은 무슨 일이 있었는지조차 모른다.

그 45분 먼저 파악한 일에 대하여

우리가 Hijack이 자사 플레이어에게 알리기 45분 전에 장애를 감지했다는 사실은 곱씹어 볼 만하다. 우리는 그들의 운영팀이 아니다. 내부 인프라에 대한 접근 권한도 없다. 그런데도 이런 일이 벌어졌다.

몇 가지 질문이 떠오른다. 이 질문들은 우리가 그들의 플레이어 데이터에서 관찰해 온 흥미로운 패턴과 연결되기 시작한다. 그 플랫폼에 봇이 돌아다닌다는 소문이 커뮤니티에 돌고 있다. 우리에게도 할 말이 있다.

하지만 그건 다른 날의 글이다.

Stay salty.