ai-dataset-radar

Abstract

AI 训练数据的竞争情报长期面临信息不对称 (information asymmetry)、源碎片化 (source fragmentation) 和被动式监控 (reactive monitoring) 三重瓶颈。AI Dataset Radar 提出一种多源异步竞争情报引擎：通过 aiohttp 全链路并发采集 (async full-pipeline crawling) 覆盖 7 大数据源共 337+ 监控目标（86 HF orgs / 50 GitHub orgs / 71 博客 / 125 X 账户 / 5 Reddit / Papers with Code），通过组织级水位线增量扫描 (org-level watermark incremental scanning) 将 API 调用量从 $O(N)$ 降至 $O(\Delta N)$，通过 7 条异常检测规则 (anomaly detection rules) 跨 4 类别实现从被动查看到主动告警的闭环。

系统构建「采集 → 分析 → 交叉关联 → 异常检测 → 告警分发」的自动化情报管线，提供竞品矩阵 (competitive matrix)、数据集谱系 (dataset lineage)、组织关系图谱 (org relationship graph) 三维交叉分析能力，并以 Agent-native 方式暴露 MCP 19 工具 + REST 19 端点 + Skills 7 命令的完整接口层。

AI Dataset Radar implements a multi-source async competitive intelligence engine covering 86 HuggingFace orgs, 50 GitHub orgs, 71 blogs, 125 X accounts, 5 Reddit communities, and Papers with Code. The system features org-level watermark incremental scanning that reduces API calls from $O(N)$ to $O(\Delta N)$, anomaly detection with 7 rules across 4 categories, and three-dimensional cross-analysis (competitive matrix, dataset lineage, org relationship graph). It exposes 19 MCP tools, 19 REST endpoints, and 7 Claude Code Skills for agent-native integration.

Problem Statement

竞争情报 (Competitive Intelligence, CI) 在 AI 训练数据领域面临独特的工程挑战——数据发布高度分散、更新频率不可预测、跨源关联关系隐含在元数据中。传统方法以人工浏览 + 关键词订阅为主，无法应对指数增长的监控规模：

Radar 不是又一个 RSS 聚合器。它是面向 AI 训练数据生态的主动式竞争情报系统——多源采集、增量追踪、异常告警、Agent 原生集成，将"信息搜集"变为"情报输出"。

Formal Framework

Multi-Source Intelligence Fusion

情报采集形式化为多源融合模型。设 $S$ 为数据源集合，每个源 $s \in S$ 在时间窗口 $[t - \Delta t, t]$ 内产出数据集合 $D_s$，全局情报视图为：

$$I(t) = \bigcup_{s \in S} f_s(t, \Delta t)$$

其中 $f_s: \mathbb{T} \times \mathbb{T} \to 2^{\mathcal{D}}$ 为源特定的采集函数，$\mathcal{D}$ 为结构化数据集元数据的全集。当前 $|S| = 7$，覆盖 $\sum_{s} |targets_s| = 337+$ 个监控目标。

Watermark-Driven Incremental Scanning

每个源 $s$ 的每个组织 $o$ 维护独立水位线 $W_{s,o}(t)$，表示该组织在该源上已知的最新时间戳：

$$W_{s,o}(t) = \max\left{W_{s,o}(t-1),\ \max_{d \in D_{s,o}} \text{timestamp}(d)\right}$$

增量扫描仅拉取水位线之后的数据：$D_{s,o}^{\Delta}(t) = {d \in D_{s,o} \mid \text{timestamp}(d) > W_{s,o}(t-1)}$。首次执行时 $W_{s,o}(0) = -\infty$，自动触发全量采集建立基线。API 调用量从 $O(|D|)$（全量）降至 $O(|D^{\Delta}|)$（增量），每个组织独立窗口避免慢源拖累快源。

Anomaly Scoring Function

异常评分函数对每条新增数据 $d$ 计算加权得分，触发告警阈值：

$$A(d) = \sum_{i=1}^{7} w_i \cdot r_i(d)$$

其中 $r_i(d) \in {0, 1}$ 为第 $i$ 条规则的二值判定，$w_i$ 为规则权重。7 条规则覆盖 4 个类别：

指纹去重函数 $\text{fingerprint}(d) = \text{hash}(source, org, id)$ 确保同一事件不重复告警。

Architecture

flowchart TD
    subgraph S[" 7 Data Sources · 337+ Targets"]
        direction LR
        S1["HuggingFace<br/>86 orgs"] ~~~ S2["GitHub<br/>50 orgs"] ~~~ S3["Blogs<br/>71 sources"]
        S4["Papers<br/>arXiv + HF"] ~~~ S5["X / Twitter<br/>125 accounts"] ~~~ S6["Reddit<br/>5 communities"]
        S7["Papers with Code"]
    end

    S --> T["Trackers<br/>aiohttp async · org-level watermark"]
    T --> A["Analyzers<br/>classification · trends · matrix · lineage · org graph"]
    A --> D["Anomaly Detection<br/>7 rules × 4 categories · fingerprint dedup"]

    subgraph O[" Output Layer"]
        direction LR
        O1["JSON structured"] ~~~ O2["Markdown reports"] ~~~ O3["AI Insights"]
    end

    D --> O

    subgraph I[" Agent Interface Layer"]
        direction LR
        I1["REST API<br/>19 endpoints"] ~~~ I2["MCP Server<br/>19 tools"] ~~~ I3["Skills<br/>7 commands"] ~~~ I4["Dashboard<br/>12 tabs"]
    end

    O --> I

    style S fill:#1a1a2e,color:#e0e0e0,stroke:#444
    style T fill:#0969da,color:#fff,stroke:#0969da
    style A fill:#8b5cf6,color:#fff,stroke:#8b5cf6
    style D fill:#e5534b,color:#fff,stroke:#e5534b
    style O fill:#1a1a2e,color:#e0e0e0,stroke:#444
    style I fill:#2da44e,color:#fff,stroke:#2da44e

Layered Architecture

Key Innovations

1. Multi-Source Async Crawling Engine

AI 训练数据的情报来源高度分散——实验室在 HuggingFace 发模型、在 GitHub 发代码、在博客写解读、在 X/Twitter 预告方向。Radar 通过 aiohttp 全链路并发覆盖 7 大数据源 337+ 监控目标：

全异步架构，单次扫描可同时执行 500+ 并发请求，采集延迟由最慢源决定而非源数之和。Playwright 用于需要动态渲染的博客源。

供应商分类、X 账户明细、数据集分类体系见 数据源文档。输出 JSON Schema 见 输出规范。

2. Watermark-Driven Incremental Scanning

传统全量扫描的 API 配额消耗与总数据集数成正比，难以提升至小时级频率。Radar 实现组织级水位线增量扫描——每源每 org 维护独立的增量窗口 $W_{s,o}(t)$：

• 首次执行自动全量采集，建立基线（$W_{s,o}(0) = -\infty$）
• 后续扫描仅拉取水位线之后的增量数据 $D^{\Delta}$
• 每个 org 独立维护水位线，避免慢源拖累快源
• API 调用量从 $O(|D|)$ 降至 $O(|D^{\Delta}|)$

python src/main_intel.py --days 7                  # 增量扫描（水位线驱动）
python src/main_intel.py --full-scan --days 7       # 强制全量扫描（重建基线）

3. Three-Dimensional Cross-Analysis

单一数据源只能提供碎片化视角。Radar 构建三维交叉分析能力，揭示隐含的竞争格局：

三个维度交叉关联：矩阵揭示"谁在做什么"，谱系揭示"从哪来到哪去"，图谱揭示"谁和谁协作"。

4. Rule-Based Anomaly Detection & Alerting

情报系统的核心闭环在于从"被动查看"转为"主动通知"。Radar 实现 $A(d) = \sum_i w_i \cdot r_i(d)$ 异常评分，7 条规则覆盖 4 类别：

• 突发大量发布 — 组织在短时间内发布异常数量的数据集（Volume）
• 新进入者 — 此前未监控的组织首次出现在情报视野（Novelty）
• 分类异动 — 某分类的数据集数量突变，如 RLHF 类别激增（Category）
• 跨源关联 — 同一组织在多个平台同步活跃，博客 + HF + GitHub（Cross-Source）

指纹去重避免重复告警，Email + Webhook 双通道分发。

5. Time-Series Persistence & Trend Analysis

批量 upsert + 作用域趋势计算，SQLite 每日快照，支持长周期趋势分析：

• 组织活跃度变化曲线
• 分类维度的数据集增长趋势
• 季度报告自动生成
• 历史快照对比（/diff）

时序数据持久化使情报系统从"快照"升级为"影片"——不仅知道当前状态，还能回答"变化趋势是什么"。

6. Agent-Native Interface Layer

Radar 以 Agent-native 方式暴露三套完整接口，覆盖从自动化采集到交互式分析的全工作流：

三套接口共享同一数据层和分析引擎，Agent 可按场景选择最合适的交互协议。

7. AI-Powered Insight Generation

采集和分析产出结构化数据后，LLM 自动生成决策层可直读的情报报告：

• 基于采集结果生成分析提示 (_insights_prompt.md)
• Claude Code 环境下直接由环境 LLM 分析，或通过 --api-insights 调用外部 API
• 多 Provider 支持：Anthropic / Kimi / DeepSeek
• 输出 Markdown 格式的 AI 分析报告 (_insights.md)，聚焦趋势判断和行动建议

8. Dashboard Real-Time Visualization

12 Tab Web 仪表盘，实时呈现情报全景：

Quick Start

git clone https://github.com/liuxiaotong/ai-dataset-radar.git
cd ai-dataset-radar
pip install -r requirements.txt && playwright install chromium
cp .env.example .env  # 编辑填入 Token（GITHUB_TOKEN / ANTHROPIC_API_KEY 等）

# 基础扫描（自动生成 AI 分析报告）
python src/main_intel.py --days 7

# 扫描 + DataRecipe 深度分析
python src/main_intel.py --days 7 --recipe

# Docker
docker compose run scan

产出文件（按日期子目录）：

data/reports/2026-02-08/
├── intel_report_*.json                # 结构化数据 (Agent)
├── intel_report_*.md                  # 原始报告 (人类)
├── intel_report_*_insights_prompt.md  # 分析提示 (LLM 输入)
├── intel_report_*_insights.md         # AI 分析报告 (决策层)
├── intel_report_*_changes.md          # 日报变化追踪
└── recipe/                            # DataRecipe 分析 (--recipe)

环境变量、RSSHub 配置、Docker 部署、调度设置详见 .env.example 和 系统架构。

CLI Reference

python src/main_intel.py --days 7                  # 增量扫描（首次全量，后续增量）
python src/main_intel.py --days 7 --recipe          # + DataRecipe 逆向分析
python src/main_intel.py --full-scan --days 7       # 强制全量扫描
python src/main_intel.py --days 7 --api-insights    # 显式调用 LLM API 生成 insights

REST API & Dashboard

python agent/api.py
# → http://localhost:8080/dashboard（Web 仪表盘）
# → http://localhost:8080/docs（Swagger API 文档）

核心端点：

完整端点列表、代码示例（OpenAI / Anthropic / LangChain）见 Agent 集成文档。

MCP Server

{
  "mcpServers": {
    "radar": {
      "command": "uv",
      "args": ["--directory", "/path/to/ai-dataset-radar", "run", "python", "mcp_server/server.py"]
    }
  }
}

19 个工具（scan / search / diff / trend / history / reddit / matrix / lineage / org-graph / alerts / export / subscribe 等）及配置详情见 MCP 文档。

Claude Code Skills

在 Claude Code 中输入 / 即可调用，覆盖完整的竞争情报工作流：

典型工作流：

/scan --days 7 --recipe   # 1. 每周采集
/brief                    # 2. 晨会快速浏览
/search RLHF              # 3. 按主题搜索
/deep-dive NVIDIA         # 4. 聚焦某组织
/recipe allenai/Dolci     # 5. 深入某数据集
/diff                     # 6. 周对比变化

设计原则：

• 环境 LLM 接管：ANTHROPIC_API_KEY 未设置时，/scan 让 Claude Code 自身作为分析引擎
• 纯本地读取：/brief、/search、/diff、/deep-dive 不触发网络请求
• 交叉引用：每个 Skill 的输出中推荐相关的后续 Skill

Data Sources

供应商分类、X 账户明细、数据集分类体系见 数据源文档。输出 JSON Schema 见 输出规范。

Ecosystem

graph LR
    Radar["Radar<br/>Discovery"] --> Recipe["Recipe<br/>Analysis"]
    Recipe --> Synth["Synth<br/>Generation"]
    Recipe --> Label["Label<br/>Annotation"]
    Synth --> Check["Check<br/>Quality"]
    Label --> Check
    Check --> Audit["Audit<br/>Model Audit"]
    Crew["Crew<br/>Deliberation Engine"]
    Agent["Agent<br/>RL Framework"]
    ID["ID<br/>Identity Runtime"]
    Crew -.->|能力定义| ID
    ID -.->|身份 + 记忆| Crew
    Crew -.->|轨迹 + 奖励| Agent
    Agent -.->|优化策略| Crew

    style Radar fill:#0969da,color:#fff,stroke:#0969da
    style ID fill:#2da44e,color:#fff,stroke:#2da44e
    style Agent fill:#8b5cf6,color:#fff,stroke:#8b5cf6
    style Crew fill:#1a1a2e,color:#e0e0e0,stroke:#444
    style Recipe fill:#1a1a2e,color:#e0e0e0,stroke:#444
    style Synth fill:#1a1a2e,color:#e0e0e0,stroke:#444
    style Label fill:#1a1a2e,color:#e0e0e0,stroke:#444
    style Check fill:#1a1a2e,color:#e0e0e0,stroke:#444
    style Audit fill:#1a1a2e,color:#e0e0e0,stroke:#444

DataRecipe 联动详情（评分公式、输出结构、MCP 双服务配置）见 DataRecipe 文档。

Development

git clone https://github.com/liuxiaotong/ai-dataset-radar.git
cd ai-dataset-radar
pip install -r requirements.txt && playwright install chromium
cp .env.example .env

# 运行测试 (933 个用例)
pytest

# 代码格式化 + lint
ruff check src/
ruff format src/

测试覆盖: 34 个测试文件，933 个测试用例。

CI: GitHub Actions，Tag push 自动发布。定时任务 (daily.yml) 支持每日自动扫描。

References

• Competitive Intelligence — Kahaner, L., 1997. Competitive Intelligence: How to Gather, Analyze, and Use Information to Move Your Business to the Top. Touchstone
• OSINT Techniques — Bazzell, M., 2023. Open Source Intelligence Techniques. IntelTechniques — 多源情报采集方法论的参考来源
• HuggingFace Hub API — HuggingFace, 2023. Hub Python Library Documentation. huggingface.co/docs — 数据集元数据采集的核心 API
• Anomaly Detection — Chandola, V. et al., 2009. Anomaly Detection: A Survey. ACM Computing Surveys, 41(3) — 异常检测规则设计的理论基础
• Papers with Code — Stojnic, R. et al., 2020. Papers with Code: Linking Papers with Code. paperswithcode.com — 论文-数据集-榜单关联的数据源
• Incremental Processing — Zaharia, M. et al., 2013. Discretized Streams: Fault-Tolerant Streaming Computation at Scale. SOSP '13 — 增量处理与水位线机制的工程参考
• Information Fusion — Hall, D.L. & Llinas, J., 1997. An Introduction to Multisensor Data Fusion. Proceedings of the IEEE, 85(1) — 多源信息融合的理论框架

License

MIT