竞争是件好事。周一晚上提醒了我们为何而建。

我们是竞争的坚定信徒。看看 Texas Card House 和 The Lodge 给奥斯汀扑克带来了什么 — 两家出色的牌室相互推动、不断抬高标准,也让奥斯汀跃升为全美最佳扑克城市之一。这对整个社区都是一件极好的事。涨潮会抬升所有的船。

所以当我们谈起周一晚上 Hijack 发生的事情时,并不是要落井下石。而是因为这样的时刻恰恰是我们正在打造 salty.poker 的原因 — 也是我们相信自己可以做得更好的原因。

周一晚上发生了什么

周一傍晚。黄金时段。玩家准备坐下开打。

Hijack 挂了。牌桌清零。玩家清零。完全宕机。

我们在下午 6:05 发现了问题 — 登录失败、无牌桌、无活动。Hijack 直到下午 6:50 才向自己的用户推送通知确认事故。等大部分玩家意识到出问题时,我们已经盯着这件事看了四十五分钟。平台在晚上 7:53 恢复 — 周一晚上总共 1 小时 48 分钟的完全宕机。

我们真心希望他们能把问题修好。一个健康的线上扑克生态对所有人都有好处,包括 salty.poker。

salty.poker 是如何为此而建的

这样的宕机不是随机的坏运气。它们是早期架构决策的结果 — 或者根本就没做过那些决策。韧性不是发布之后再补上去的东西。韧性是在写下第一行代码之前就要设计进去的东西,而我们正是这么做的。

salty.poker 建立在 Microsoft Azure 上,每一层都有冗余。自动扩缩容在流量尖峰变成事故之前就把它吸收掉。健康检查和自动故障转移让单个组件出问题时不会拖垮整个系统。我们的监控被设计成能够快速发现问题 — 有时候,就像周一晚上所展示的,比事故中的平台自己发现得还要快。

目标很简单:当某个东西出问题的时候 — 而东西总归会出问题的 — 牌桌继续开着,玩家仍然坐在座位上,大多数人根本不会察觉有事发生。

关于那 45 分钟的领先

我们比 Hijack 通知他们自己的玩家早了将近 45 分钟发现这次宕机,这件事值得稍微停下来想想。我们不是他们的运维团队。我们对他们内部的基础设施没有任何访问权限。然而事实就是如此。

这引出了一些问题。这些问题开始和我们在他们的玩家数据里注意到的一些有趣模式联系起来。社区里流传着他们平台上有机器人横行的说法。我们对此有一些想法。

不过那是另一篇文章的内容了。

Stay salty.