DS-STAR 数据科学框架

DS-STAR (Data Science - Structured Thought and Action，即数据科学-结构化思维与行动) 是一个智能多智能体框架，旨在直接在 Claude Code 中将原始数据转化为可操作的洞察。通过协调七个专业智能体——从数据分析师到 Python 程序员和验证器——该框架管理着整个数据科学生命周期，从最初的探索性数据分析到迭代调试和最终验证。它通过动态地将任务路由到最合适的 Claude 模型（Haiku、Sonnet 或 Opus），显著优化了性能和成本，与单模型方法相比，可节省高达 60% 的成本。

该技能最初是为 Google 的 Gemini 模型设计的，此次适配了 DS-STAR，以充分利用 Anthropic 的 Claude 模型系列。它通过结构化协作自动处理复杂的数据科学工作流，使其成为手动数据调查的可复现且高度优化的替代方案。

DS-STAR 在迭代执行循环中协调七个专业智能体来解决数据问题：

┌─────────────────────────────────────────────────────────┐
│  1. ANALYZER (Haiku)                                    │
│     Input: Data files                                   │
│     Output: Data descriptions, schemas, summaries       │
└─────────────────────────────────────────────────────────┘
                         ↓
┌─────────────────────────────────────────────────────────┐
│  2. PLANNER (Sonnet)                                    │
│     Input: Query + Data descriptions                    │
│     Output: Initial analysis step                       │
└─────────────────────────────────────────────────────────┘
                         ↓
┌─────────────────────────────────────────────────────────┐
│  3. CODER (Sonnet)                                      │
│     Input: Plan + Data descriptions                     │
│     Output: Python code to execute plan                 │
└─────────────────────────────────────────────────────────┘
                         ↓
┌─────────────────────────────────────────────────────────┐
│  4. DEBUGGER (Sonnet) [If needed]                       │
│     Input: Code + Error                                 │
│     Output: Fixed code                                  │
└─────────────────────────────────────────────────────────┘
                         ↓
┌─────────────────────────────────────────────────────────┐
│  5. VERIFIER (Sonnet)                                   │
│     Input: Code + Results + Query                       │
│     Output: "Sufficient" or "Needs refinement"          │
└─────────────────────────────────────────────────────────┘
                         ↓
           ┌─────────────┴─────────────┐
           │    Sufficient?            │
           └─────────────┬─────────────┘
                 YES │   │ NO
                     │   └──────────────┐
                     │                  ↓
                     │    ┌──────────────────────────────┐
                     │    │  6. ROUTER (Haiku)           │
                     │    │     Decide: Fix step or Add  │
                     │    └──────────────────────────────┘
                     │                  │
                     │                  ↓
                     │         [Loop back to PLANNER]
                     │
                     ↓
┌─────────────────────────────────────────────────────────┐
│  7. FINALYZER (Sonnet)                                  │
│     Input: Final code + Results + Query                 │
│     Output: Formatted answer (JSON/text)                │
└─────────────────────────────────────────────────────────┘

• 迭代优化：DS-STAR 使用高达 5 轮优化（用户可配置）。每轮可以添加一个新的分析步骤或修正前一个步骤。
• 验证门控：自动门控可防止低质量输出，并对失败的代码进行自动调试重试。
• 产物生成：完整日志会将提示词、生成的代码和结果保存到 runs/<run_id>/ 中，以用于审计追踪和完全的可复现性。

1. 全面产物生成：自动保存提示词、执行代码和运行时日志，以实现研究的可复现性。
2. 成本优化模型路由：策略性地在 Haiku、Sonnet 和 Opus 之间路由子任务，最多可降低 60% 的分析费用。
3. 迭代优化周期：实现自动调试和严格的验证门控，以确保高准确性的结果。
4. 多智能体协调：部署专业的智能体角色（分析器、规划器、编码器、路由器、验证器、调试器、终结器）来分工解决任务。
5. 对多样化格式的原生支持：处理结构化和非结构化数据集，包括 CSV、JSON 和纯文本文件。

• 自动化探索性数据分析 (EDA)：迅速生成统计摘要并理解新数据集中的核心分布行为。
• 高性价比处理工作流：使用混合模型逻辑模式处理大量数据，而不是完全依赖昂贵的前沿模型。
• 迭代分析与调试：在最初尝试可能遇到运行时异常的情况下，自动运行并优化多步骤时间序列、预测性或相关性分析。

通过使用定制的模型路由策略，DS-STAR 限制了资源消耗。与将所有请求都路由到 Claude 3.5 Sonnet 不同，较简单的任务（如数据架构扫描或路由选择）将被导向 Claude 3 Haiku。

• 预估成本（约 50K tokens 的典型分析）：
  • 传统方式（单模型 Sonnet 执行）：约 $0.50 -$1.00
  • DS-STAR（混合模型执行）：约 $0.20 -$0.40
  • 净节省：50% - 60%

• 在以下情况下使用 Haiku：核心数据文件检查（Analyzer）、简单的路由决策（Router）以及基础文本提取。
• 在以下情况下使用 Sonnet：策略规划（Planner）、复杂脚本生成（Coder）、验证答案（Verifier）以及整理最终响应（Finalyzer）。
• 在以下情况下使用 Opus：复杂的边缘情况调试、高度敏感的财务/科学分析，以及完全新颖或模糊的数据格式。

要在 Claude Code 中通过 token-eater 市场安装此技能：

# Add the marketplace (if not already added)
/plugin marketplace add token-eater/skills-marketplace

# Install DS-STAR skill
/plugin install ds-star

要从源码手动设置此技能：

# Clone the marketplace
git clone https://github.com/token-eater/skills-marketplace.git
cd skills-marketplace

# The skill code resides within skills/ds-star/

您可以使用放在项目根目录中的 config.yaml 文件来控制框架设置，或者在您的运行查询中声明它们。

# config.yaml (optional, in project root)
run_id: "my_experiment"           # Custom run ID
model_name: "sonnet"               # Default model
interactive: false                 # Pause between steps for manual confirmation
max_refinement_rounds: 5           # Max iterations before stopping
execution_timeout: 60              # Code timeout in seconds
preserve_artifacts: true           # Save all outputs, steps, and scripts
runs_dir: "runs"                   # Directory path to write artifacts
data_dir: "data"                   # Directory where raw data is kept

# Agent-specific model overrides
agent_models:
  ANALYZER: haiku
  PLANNER: sonnet
  CODER: sonnet
  VERIFIER: sonnet
  ROUTER: haiku
  DEBUGGER: opus
  FINALYZER: sonnet

• 快速 (Fast)（节省 70%+ 成本）：在 Claude Haiku 上运行所有角色，Coder 和 Debugger 智能体除外。
• 平衡 (Balanced)（节省 50% 成本）：在 Haiku 上运行简单任务，在 Sonnet 上运行复杂推理/验证。
• 质量 (Quality)（最高准确度）：将所有智能体角色分配给 Sonnet 或 Opus。

要在 Claude Code 中运行此技能，只需调用：

/skill ds-star

该框架将以交互方式提示您提供：

1. 您的数据文件的路径（CSV, JSON, TXT 等）。
2. 您的分析查询。
3. 模型预设配置（可选）。

• 基本统计：

  “该数据集中平均年龄和性别分布是什么？”（数据：customers.csv）

• 时间序列分析：

  “过去一年的月度销售趋势是什么？”（数据：sales_2024.csv）

• 数据质量评估：

  “每列中有多少缺失值，占总数的百分之几？”（数据：survey_responses.csv）

• 相关性分析：

  “哪些特征与客户流失的相关性最强？”（数据：customer_features.csv）

• 数据文件：iris.csv（150 行，5 列）
• 查询：“每个物种的平均花瓣长度是多少？哪个物种的方差最大？”
• 响应输出：

{
  "final_answer": {
    "averages": {
      "setosa": 1.46,
      "versicolor": 4.26,
      "virginica": 5.55
    },
    "highest_variance": "virginica",
    "variance_value": 0.304
  }
}

• 指标：成本：$0.18（平衡配置） | 时间：约 25 秒 | 执行步骤：3（分析 → 规划 → 编码 → 验证 → 终结）

• 数据文件：sales_2024.csv（365 行，每日销售跟踪）
• 查询：“找出总销售额前 3 的月份，并计算环比增长率。”
• 响应输出：

{
  "final_answer": {
    "top_3_months": [
      {"month": "December", "total_sales": 125000, "growth": "+15%"},
      {"month": "November", "total_sales": 108000, "growth": "+8%"},
      {"month": "July", "total_sales": 95000, "growth": "+12%"}
    ],
    "average_growth": "+8.3%"
  }
}

• 指标：成本：$0.22（平衡配置） | 时间：约 30 秒 | 执行步骤：4（包括 1 轮优化）

该技能具有自定义的 ClaudeProvider，它直接与 Claude Agent SDK 对接，利用子智能体实现高上下文效率。

class ClaudeProvider(ModelProvider):
    """Provider for Claude models via Agent SDK."""

    def __init__(self, model_name: str = "sonnet"):
        self.model_name = model_name  # haiku, sonnet, or opus

    def generate_content(self, prompt: str) -> str:
        # Use SDK's subagent system for context efficiency
        # Automatically handles model routing
        # Returns generated content

• 高效上下文：利用子智能体来消除庞大、单体的上下文窗口。
• 并行执行：允许独立进程同时评估数据结构。
• 产物持久化：所有文件直接写入本地目录。
• 恢复支持：中断不会强制重启。使用以下命令恢复之前的状态：

  /skill ds-star --resume 20241123_143022_a1b2c3
  

每次流水线运行都会生成一个包含输入、中间决策和日志的结构化目录：

runs/<run_id>/
├── steps/
│   ├── 001_analyzer/
│   │   ├── prompt.md       # Target agent instructions
│   │   ├── code.py         # Output script generated by the agent
│   │   ├── result.txt      # Executed console output
│   │   └── metadata.json   # Step execution statistics and costs
│   ├── 002_planner_init/
│   ├── 003_coder/
│   └── ...
├── exec_env/               # Direct file execution runtime space
├── logs/
│   ├── pipeline.log        # High-level orchestrator system logs
│   └── execution.log       # Granular python subprocess compilation logs
├── final_output/
│   └── result.json         # Extracted JSON final answer
└── pipeline_state.json     # Checkpoint state dictionary for resuming

• 推荐：
  • 编写清晰、有针对性的提示词：“计算 X 列和 Y 列之间的皮尔逊相关系数。”
  • 询问直接的逻辑问题：“完成 3 次以上购买的客户占百分之几？”
  • 精确指出异常值：“使用 1.5 倍 IQR 方法识别‘价格 (price)’列中的异常值。”
• 避免：
  • 宽泛、模糊的请求：“告诉我一些关于这些数据的有趣信息。”
  • 压倒性的指令：“做所有事情。” 将庞大的多部分需求拆分为独立的查询运行。
  • 引用无法访问的外部来源：除非已在本地预先加载，否则不要请求外部数据库、API 或文件。

• 最佳格式：包含结构化表头标题的干净、标准的 .csv 文件；.json 文档中一致且统一的嵌套；或普通的 UTF-8 编码 .txt 数据文件。
• 问题格式：多标签页的 .xlsx 工作簿（先将标签页转换为单独的 .csv 文件）；未解析的 .pdf 文档；以及原始二进制输入（图像、音频文件）。

• 仅限 Python 执行：系统通过使用 pandas and numpy 等包生成并运行 Python 脚本来执行指令。
• 本地运行风险：代码在您的本地系统上运行。在允许该工具运行从未受信任的第三方数据输入生成的代码时，请保持高度警惕。
• 无出站网络 API：根据设计，运行中的智能体无法访问外部 API 端点或获取实时网页信息。
• 单一输出格式：终结智能体（Finalyzer）产生单个摘要有效负载（JSON 或 TXT）。
• 无交互式图表：不支持实时交互式可视化和绘图（无法交互式渲染图表，但可以写入静态文件）。

1. “Missing data files” 错误
   • 确保目标数据集在 data/ 子目录中，或提供绝对的、完全限定的文件路径。
   • 验证目标文件夹上的读取权限。
2. 执行超时
   • 如果 Python 脚本挂起，请将 config.yaml 中的 execution_timeout 调整为高于默认 60 秒的值。
   • 简化目标查询或优化大文件（例如分块）。
3. “API key not found” 错误
   • 只要 Claude Agent SDK 处理身份验证，内置的 Claude 模型就无需 API 密钥。外部模型（OpenAI/Gemini）将需要在您的本地系统中设置标准环境变量。
4. 验证门控总是失败
   • 优化您的提示词以减少歧义。
   • 使用 max_refinement_rounds: 10 增加最大允许循环数。
   • 检查 runs/<id>/steps/ 中的中间运行脚本，以精确定位逻辑瓶颈。

要手动检查执行情况，请启用交互式步骤暂停或分析原始文件：

# Run with interactive mode to pause and confirm before each step runs
/skill ds-star --interactive

# Inspect pipeline execution history manually
ls runs/<run_id>/steps/
cat runs/<run_id>/logs/pipeline.log

我们欢迎社区扩展和框架迭代。

1. 在 scripts/dsstar.py 中定义您的自定义智能体配置。
2. 在 scripts/prompts.py 中起草智能体的核心指令和提示词模板。
3. 在 run_pipeline() 方法中将智能体链入执行循环中。
4. 使用您自己的数据样本验证功能。
5. 在 GitHub 上创建拉取请求 (PR)。

• 可视化智能体：直接在输出目录中创建并保存 matplotlib 或 seaborn 图表。
• 导出智能体：自动生成整洁的 Excel 工作簿、交互式 HTML 或格式化 PDF 报告。
• 架构智能体：自动化严格的数据类型剖析并实施结构约束。
• 机器学习智能体：训练和评估基础建模管线（例如，scikit-learn 回归或分类拆分）。

DS-STAR 将简单任务（例如检查数据头或进行路由选择）路由到低成本的 Claude Haiku 模型。它将复杂操作（如逻辑规划、代码生成和验证）留给 Sonnet 或 Opus。

您可以分析诸如 CSV 和 JSON 的结构化格式，以及非结构化的 TXT 文档。

它是一个围绕“结构化思维与行动”架构构建的多智能体框架。它直接在您的本地命令行环境中自动执行探索性数据分析和 Python 执行。

会的。该框架包含一个专业的调试器 (Debugger) 智能体，可捕获控制台回溯、编辑失败的脚本并重试执行。

是的。因为每个步骤、提示词、生成的脚本和输出日志都会保存在您本地的 runs/ 目录中，所以每一次执行都是透明且可复现的。

• 📖 原版论文：DS-STAR: Domain Adaptive Data Science via Large Language Models
• 💾 原始代码库：GitHub 上的 JulesLscx/DS-Star
• 🐛 报告问题：Skills Marketplace 议题
• 💬 讨论区：Skills Marketplace 讨论区
• ⚙️ 底层架构：了解更多信息，请参阅什么是技能 (Skills)？和如何安装。

查看更多数据科学与机器学习技能

• openclaw 图表制作与可视化工具 — 为软件架构、系统流和教学概念生成专业的 SVG、HTML 和 Excalidraw 图表。
• Pie Skills 宪法一致性 (高级版) — 在做出响应前验证逻辑和思考是否符合 Anthropic 宪法。
• openclaw GitHub 议题自动修复器 — 通过生成子智能体来实施代码修复、提交拉取请求以及解决审查意见，从而自动处理端到端的 GitHub 议题生命周期。

查看所有 MCP 服务器

• qdrant Qdrant — 将语言模型连接到 Qdrant 向量数据库，以用于存储和检索信息。
• datawiz168 Snowflake 集成 — 使 Claude 能够执行 SQL 查询并与 Snowflake 数据库交互。
• kablewy FRED — 访问并从美联储经济数据 (FRED) 系统中检索经济数据系列。

• 多智能体协调：通过将任务分配给七个专业的智能体角色，DS-STAR 在一个结构化、模块化的循环中处理规划、代码生成、纠错和验证。
• 显著的成本节省：在 Claude Haiku、Sonnet 和 Opus 之间动态路由子任务，将总 API 消耗费用降低 50% 到 60%。
• 自动调试：具有迭代自我纠正机制，可捕获执行故障并自动重写 Python 代码以解决运行时错误。
• 100% 可复现：将每个中间计划、代码产物、提示词模板和输出响应保存到本地运行文件夹（runs/<run_id>）中，以实现完整的可审计性。