数据采集

爬虫桥接

监控爬虫任务进度、ODS 校验结果和自动 / 手动下发的 DataWorks 调度。

本地服务
等待加载
Crawler Bridge

爬虫 → ODS → DataWorks

集中查看扫描结果、ODS 校验、下发记录和任务映射状态。

采集日志 ODS 校验 任务下发 事件追踪

桥接配置 / 扫描

显示 dry-run、外部依赖配置和最近一次同步扫描结果。

默认仅扫描当天任务（自动按 cookie / 推送 / 小时分钟级 规则过滤）

手动下发任务

按表名解析映射、校验 ODS，并按业务日期触发 DataWorks 实例。

POST /by-name

建议先执行「仅 ODS 校验」，确认后再解析并下发。

爬虫触发事件

桥接捕获到的爬虫成功 / 延迟 / 失败 / 缺失映射事件。

筛选
事件 ID 类型 / 状态 业务日期 爬虫任务 数仓调度时间 爬虫结束 / 截止 操作

ODS 校验结果

每次扫描会比对源表行数、ODS 行数、分区与最大更新时间。

业务日期 爬虫表 / 数仓表 是否通过 校验逻辑 关键结论

自动 / 手动调度记录

每次 RerunTaskInstances 都会落一条记录，包含响应原文与错误信息。

状态 任务 / 实例 关联事件 错误 时间

任务映射 -

当前已注册的爬虫 → ODS → DataWorks 任务映射。