perf: improve worker and storage throughput

2026-07-26 00:57:29 +08:00
parent da9b273253
commit de5f451cd1
14 changed files with 611 additions and 101 deletions
--- a/docs/database.md
+++ b/docs/database.md
@@ -540,7 +540,7 @@ Dead-letter stream: stream:compress_jobs:dead
 Dead-letter max length: 10000
 ```

-Worker 每次优先处理本消费者 pending，并认领空闲超过 5 分钟的其他消费者消息。消息第 3 次投递仍失败时写入死信流、将任务标记为失败并 ACK 原消息；已删除或已进入终态的任务直接 ACK。
+Worker 最多并发处理 `WORKER_TASK_CONCURRENCY` 个消息。调度器只领取新消息或空闲超过 5 分钟的其他消费者消息，处理中的长任务每 60 秒通过 `XCLAIM JUSTID` 刷新 pending 空闲时间，避免被其他 Worker 重复认领且不增加投递次数；单条消息失败后在原任务槽内按 2 秒、4 秒指数退避并通过 `XCLAIM` 重新投递。第 3 次投递仍失败时写入死信流、将任务标记为失败并 ACK 原消息；已删除或已进入终态的任务直接 ACK。

 ### 5.4 任务进度（可选）
 ```