feat(W4): daily full reconciliation — user/role drift repair + ReconcileLogs audit

- w4-body.js: ONE-DIRECTIONAL sync (NocoDB status = SOT, never reverse);
  drift matrix: missing user/role (provision w/ username lookup to avoid
  duplicates), dangling refs (adopt/recreate), disabled<->status, canonical
  base_path '/' + permission 16384, scopes vs calculateEffectiveGrants,
  username drift detect+log_only; verify-after-repair on every change;
  password never pushed on repair (方案 C); dry-run via ?dryRun=true
- gen_w4.js: daily 03:00 cron + webhook alist-w4-reconcile; API-import-safe
  (UUID node ids, no pinData, webhookId)
- ReconcileLogs table mktsb7le6fqr2u1 (add_reconcilelogs_table.py, idempotent,
  v2 API); FK column nc_jitu___Customers_id for bt-link writes (v2 ignores
  link column itself)
- test_w4_reconcile.js: 34 assertions / 12 mock worlds, ALL PASSED
- live-verified against production: dry-run (3 drifts + 1 error found),
  real repair (3 repaired, verify all passed, 4 log rows), idempotent rerun
- NocoDB 2026.08.x pitfalls documented (v1 col endpoints gone, row delete
  via body [{Id}]); n8n API import/activation pitfalls (activeVersionId)
- docs: W4-DESIGN.md new; DATABASE_SCHEMA 8 tables; N8N_WORKFLOWS, SETUP,
  PROJECT_STATE updated
This commit is contained in:
2026-08-23 09:34:11 +08:00
parent 29ff66de88
commit 4693c9d684
12 changed files with 1257 additions and 27 deletions
+50 -16
View File
@@ -78,17 +78,33 @@ Base: **`AlistAccess`**(`p3lzkresswyowqg`),与旧 `accessDB` 完全隔离
- **W1/W2/W3 零复制算法**:三处都调同一个 `calculateEffectiveGrants`
- **测试**(全过):`test_effective_grants.js`(共享算法)、`test_w3_refactored.js`(W3 回归)、`test_w1_lifecycle.js`(W1 lifecycle,10 场景全覆盖:pending/active/suspended/expired/deleted 全转换 + echo 短路 + sync_required 强制重算)
### 6. W4 每日全量对账(Step 4)— **本地 + 直连生产实测通过** ✅
- 文件:`n8n/W4-daily-reconcile.json`(`n8n/w4-body.js` + 共享库 → `gen_w4.js`);已导入 n8n(id `pl8j9lpg5gjrd0dB`,active,webhook `alist-w4-reconcile` 已注册)
- 触发:每日 03:00 cron + 手动 webhook(`?dryRun=true` 出计划)
- 单向同步(用户定稿):NocoDB status = SOT,W4 只修 AList,永不反向;密码不随 repair 推送(方案 C)
- Drift 矩阵 + ReconcileLogs 表(`mktsb7le6fqr2u1`,只记 drift/repair/error 行)→ 详见 `docs/W4-DESIGN.md`
- **实测记录(2026-08-23 直连生产)**:
1. dry-run:5 客户 → 3 drift(TEST-Alice: dangling_role_ref + base_path_drift + role_binding_drift)+ 1 error(customer 7 缺 username),3 skip,零写入 ✅
2. 真实跑:3 repaired + 4 行 ReconcileLogs(FK 正确),verify-after-repair 全过(无 verify_failed)✅
3. 复跑:0 drift / 0 repair / 4 skip → 幂等 ✅
- 测试:`n8n/test_w4_reconcile.js`(34 项全过,mock AList+NocoDB 12 场景)
- ⚠ **n8n env 还未加**(`NOCODB_TABLE_RECONCILELOGS` / `NOCODB_FK_RECONCILELOG_CUSTOMER`):容器 env 是 Portainer stack 144 管的,需 Portainer 访问后补并 redeploy(W4 代码有 env 缺失守卫:日志写入静默跳过并在 summary 注明,不会炸)
## 🔴 下一步(按序)
> 功能已全部实现并通过本地测试(用户已确认「已测试功能正常」)。剩余事项如下:
> W4 代码与实测已完成。剩余为部署收尾 + 一个 n8n 实例问题:
1. **reimport W1 到 n8n 并做真实验收**(W2/W3 也重新生成过,可一并覆盖):
- 改 `Customers.status` 一次 → 只产生**一次**真正 W1 execution(`active_provision` 或 `deactivate`),其后 echo 全是 `skip_writeback_echo`
- 验证 W1 execution 的 `desiredPaths` 非空、AList role `permission_scopes` 落对
2. **(Step 4) W4 Full Reconciliation**:NocoDB desired vs AList actual 全量 drift 修复 + reconciliation 日志(W3 已具备基础,W4 补每日全量 + 日志)
3. **(待设计) AccessGrants 物化**:当前 W2/W3 不写 AccessGrants 表,不作为 source-of-truth。W4 时统一设计 reconciliation/materialization 策略
4. 密码回写问题(客户自改 AList 密码 → NocoDB plaintext 失真):当前不强制回写(用户已选方案 C),必要时再议
5. 本地 git 已留档并推 Gitea(`git.hoelee.com/hoelee/alist-serve-resource`,凭据已脱敏)
1. **给 n8n 容器补 env 并 redeploy(Portainer stack 144)**:
`NOCODB_TABLE_RECONCILELOGS=mktsb7le6fqr2u1` + `NOCODB_FK_RECONCILELOG_CUSTOMER=nc_jitu___Customers_id`
(容器 env 改后必须重建,不是 restart)。之后 W4 每日 03:00 才会真正落 ReconcileLogs。
2. **⚠ n8n 执行管道疑似停摆(2026-08-23 ~23:00Z 起,待查)**:webhook 全返回 200
"Workflow was started" 但不产生任何 execution(W1/W3 也一样,连 failed 都不落库);
W3 的 5 分钟 schedule 也停了(最后一次执行 23:00:51Z)。疑似与 API key 激活权限错误
("attempted to activate a workflow without permissions")或 01:21Z 的一次外部容器 recreate
有关。**需要用户确认:是否在 Portainer 动过 n8n?** 建议查 n8n 日志/executions 后恢复。
3. AccessGrants 物化:维持现状(手工人为授权入口,n8n 不写)——W4 已定案不物化。
4. 密码回写问题(客户自改 AList 密码 → NocoDB plaintext 失真):保持方案 C(不强制回写)。
5. 本地 git 已留档并推 Gitea(`git.hoelee.com/hoelee/alist-serve-resource`,凭据已脱敏)。
> ⚠️ **Status 语义已定稿(不再待决策)**:5 个值 `pending/active/suspended/expired/deleted`,
> account-level 整户开关,**不进** permission calc。详见 `docs/ARCHITECTURE.md`、`docs/PERMISSIONS.md`、`docs/DATABASE_SCHEMA.md`。
@@ -122,21 +138,39 @@ Base: **`AlistAccess`**(`p3lzkresswyowqg`),与旧 `accessDB` 完全隔离
- **writeBack 值比对守卫**:PATCH 前先 GET 当前值,只写真会变的字段;值没变 → 不发 PATCH → 不触发 webhook(物理层面掐断 loop)
- extract-id 节点必须透传 `previousRow`/`newRow`(经 Load Env 转发)到 lifecycle Code 节点
- **W4 新坑(2026-08-23)**:
- n8n API 导入(`POST /api/v1/workflows`)校验严格:**节点 id 必须 UUID、顶层不能有 `pinData`**,
否则 400 `request/body must NOT have additional properties`(UI 导入不受此限)
- webhook 节点必须有 `webhookId`,否则生产 URL 不注册(404 "The requested webhook ... is not registered")
- n8n 1.123 的 API 激活 `POST /workflows/{id}/activate` 返回 `active:true` 但运行时可能被权限拒绝
(日志 "User attempted to activate a workflow without permissions",webhook/cron 不注册)。
**激活的真实标记在 DB:`workflow_entity.activeVersionId`**(不是 `active` 列);boot 时只加载
`active + activeVersionId` 的工作流。手动救法:`UPDATE workflow_entity SET "activeVersionId"="versionId" WHERE id='...'` + 重启容器。
- **NocoDB 2026.08.x:v1 column GET/PATCH 端点已删**(列 id 从 `GET /api/v2/meta/tables/{id}` 的 columns 拿;
v2 的 columns create/PATCH 响应返回表对象而非列)
- **NocoDB v2 写 bt 链接:写 link 列本身无效**(标量/数组/对象全被忽略)→ 必须写 FK 列
`nc_jitu___Customers_id`(实测确认),env `NOCODB_FK_RECONCILELOG_CUSTOMER`
- **NocoDB v2 删行**:`DELETE /api/v2/tables/{t}/records` + body `[{"Id": N}, ...]`;
`/records/{id}` 和 `where=` 参数都不行
- **n8n 执行可能全局停摆**(2026-08-23 23:00Z 起):webhook 200 但不落 execution——见「下一步」#2,
恢复前 n8n 侧一切「执行」都不可信(本机直连跑 W4 代码是替代验收路径,见 W4-DESIGN.md)
## 📁 项目结构
```
alist-serve-resource/
├── docker-compose.yml / .env.example / .gitignore
├── n8n/
│ W1/W2/W3-*.json (generated) · w1/w2/w3-body.js (runtime logic)
│ W1/W2/W3/W4-*.json (generated) · w1/w2/w3/w4-body.js (runtime logic)
│ shared/effective-grants.js (single source of truth)
│ gen_w1/w2/w3.js + inline_shared.js (build-time inlining)
│ test_effective_grants.js · test_w1_lifecycle.js · test_w3_refactored.js
│ SETUP.md · W2-DESIGN.md · W3-DESIGN.md
├── scripts/ create_nocodb_schema.py · healthcheck.sh
│ gen_w1/w2/w3/w4.js + inline_shared.js (build-time inlining)
│ test_effective_grants.js · test_w1_lifecycle.js · test_w3_refactored.js · test_w4_reconcile.js
│ SETUP.md · W2-DESIGN.md · W3-DESIGN.md · W4-DESIGN.md
├── scripts/ create_nocodb_schema.py · add_reconcilelogs_table.py · live_dry_run_w4.js · healthcheck.sh
└── docs/ API_INTEGRATION.md · ARCHITECTURE.md · PERMISSIONS.md · ADMIN_GUIDE.md · DATABASE_SCHEMA.md · N8N_WORKFLOWS.md · INSTALL.md · CONFIGURATION.md · SECURITY.md · BACKUP_RESTORE.md · UPGRADE.md · TROUBLESHOOTING.md · PROJECT_STATE.md
```
## 待确认的设计点
1. **AccessGrants 物化**(已定:本次不物化,不作为 source-of-truth)—— W4 时统一设计 reconciliation/materialization 策略,需避免 AccessGrant→n8n loop
2. 密码:客户可自改 AList 密码 → NocoDB plaintext 会失真;当前不强制回写(用户已选方案 C)
3. 对账/到期只靠 n8n 定时扫描(AList 无 expiry 概念)—— 已确认
1. **AccessGrants 物化**(已定案:**不物化**,保持手工人为授权入口源 b;n8n 永不写它)——W4 已确认
2. 密码:客户可自改 AList 密码 → NocoDB plaintext 会失真;保持方案 C(W4 repair 也不推密码,仅 provision 新建时用)
3. 对账/到期只靠 n8n 定时扫描(AList 无 expiry 概念)—— 已确认
4. **n8n 执行管道停摆**(见「下一步」#2)——需要用户确认 Portainer 是否动过 + 恢复方式