服务器可扩展性
当您向服务添加更多实例时，只要在它们前面放置适当的负载均衡器机制，它们就会共享 HTTP 负载。在大多数部署模式中，我们会自动为服务配置负载均衡器。在”没有控制平面的自托管”模式中，您有责任添加负载均衡器。由于实例是无状态的，任何负载均衡策略都可以工作，不需要会话粘性，也不推荐。服务器的任何实例都可以与任何队列实例通信（通过 Redis PubSub），这意味着取消或流式传输正在进行的运行的请求可以由任何任意实例处理。队列可扩展性
当您向服务添加更多实例时，它们将线性增加运行吞吐量，因为每个实例都配置为处理一定数量的并发运行（默认为 10）。每次运行的每次尝试都将由单个实例处理，通过 Postgres 的 MVCC 模型强制执行恰好一次语义（有关崩溃弹性详细信息，请参阅下面的部分）。由于瞬态数据库错误而失败的尝试最多重试 3 次。我们不使用长期事务或锁，这使我们能够更有效地使用 Postgres 资源。弹性
当队列实例正在处理运行时，该队列工作器将在 Redis 中记录定期心跳时间戳。 当收到优雅关闭请求（SIGINT）时，实例进入关闭模式，该模式- 停止接受新的 HTTP 请求
- 给任何正在进行的运行有限的秒数来完成（如果未完成，它将被放回队列）
- 停止实例从队列中拾取更多运行
Postgres 弹性
对于我们管理 Postgres 数据库的部署模式，我们有定期备份和持续复制的备用副本以实现自动故障转移。此 Postgres 配置仅在 Cloud 部署选项的Production 部署类型中可用。
与 Postgres 的所有通信都为可重试错误实现重试。如果 Postgres 暂时不可用，例如在数据库重新启动期间，大多数/所有流量都应继续成功。Postgres 的长时间故障将使 Agent Server 不可用。