Databricks 快速参考与速查表

| 集群类型 | 选择集群模式（单节点、标准高吞吐量、高并发） | | Worker Nodes | 工作节点数量；自动扩缩容可控制最小/最大工作节点数 | | Runtime Version | 建议使用支持 Photon 的运行时以提升性能 | | 初始化脚本 | 节点启动时运行的 Python 脚本 |

• 集群模式：根据工作负载类型进行选择（开发、生产、机器学习）
• Worker Nodes：在配置的上下限之间自动扩缩容，以实现成本效益
• Photon：启用以加速大规模查询
• Job Clusters：最适合一次性或计划任务工作负载 —— 无初始预付费成本

-- Create a table in Unity Catalog
CREATE TABLE catalog.schema.table_name (
    id BIGINT,
    name STRING,
    value DOUBLE
);

-- Query via Serverless SQL Warehouse
SELECT * FROM catalog.schema.table_name LIMIT 10;

-- Change warehouse / query context
ALTER WAREHOUSE warehouse_name SET AUTOSTOP = 30 MINUTE;

关键要点：Databricks SQL 仓库服务（标准版或无服务器版）用于处理商业智能/SQL。

| 读取表名 | spark.read.format("delta").load("/path/to/table") | | 写入 (overwrite) | df.write.format("delta").mode("overwrite").save("/path/to/table") | | **OPTIMIZE & ZORDER** | OPTIMIZE table_name; ZORDER BY(col1, col2); |

SELECT * FROM catalog.schema.table_name TIMESTAMP AS OF '2025-08-01';

ZORDER BY 将相关信息聚合在相同的文件集中，大幅加快过滤查询的速度。

df = spark.read.format("csv").option("header", "true").load("/path/to/file.csv")
df = spark.read.json("/path/to/.parquet()
df = spark.read.parquet("/path/to/data/")

# SQL-Style Querying
spark.table(("catalog.schema.table_name"))
spark.sql("SELECT catalog.schema.table_name.createOrReplaceTempView("t")
results = spark.sql("SELECT col1, COUNT(*) FROM t GROUP BY col1")

| select | 选择/重命名列 | df.select("col1", "col2") | | filter | 过滤行 | df.filter(df.col > 10) | | groupBy | 聚合分组 | df.groupBy("region").count() | | join | 组合 DataFrames | df1.join(df2, "id") | | orderBy | 排序结果 | df.orderBy(desc("date")) | | withColumn | 添加/修改列 | df.withColumn("x2", df.x * 2) |### 常用 Spark 聚合

from pyspark.sql.functions import col, avg, count, sum, max, min, when

df.agg(
    avg("price").alias("avg_price"),
    count("*").alias("total_records"),
    sum("quantity").alias("total_qty"),
    max("date").alias("latest_day")
)

-- 条件聚合（对应 SQL 的 CASE WHEN）
df.withColumn("tier", when(df.amount > 1000, "high").otherwise("low"))

-- Grant table read access
GRANT SELECT ON TABLE catalog.schema.table TO role_name;

-- Grant schema usage
GRANT USE SCHEMA ON SCHEMA catalog.schema TO role_name;

-- Revoke
REVOKE ALL ON TABLE catalog.name FROM role_name;

Unity Catalog 提供集中化治理。Access control, data discovery, audit logs.

%s -- switch cell language to SQL
%python -- switch to Python  
%s -- shell commands
%md -- Markdown rendering
%fs -- Databricks File System operation

@dlt.Table def data(): return ( spark.readStream.format("delta").load("/path/to/source") .filter(col("status") == "active") )

%s -- switch cell language to SQL
%python -- switch to Python  
%s -- shell commands
%md -- Markdown rendering
%fs -- Databricks File System operation

@dlt.Table def data(): return ( spark.readStream.format("delta").load("/path/to/source") .filter(col("status") == "active") )```python

dbutils.fs.ls("/path/to/dir")

dbutils.fs.cp("file:/local/path", "/dbfs/mnt/gcs/bucket/folder")

dbutils.fs.mkdirs("/dbfs/tmp/new_folder")

dbutils.fs.mount( source="gs://bucket-name/path", mount_point="/mnt/gs/bucket-name", extra_configs={"fs.gs.auth.service.account.json.keyfile": "…"} )

---
## 关键要点
- **集群模式**：开发环境请使用标准型集群，BI/共享 SQL 数据仓库请使用高并发型集群。尽可能使用搭载 Photon 加速的运行环境。
- **Delta Lake**是底层存储引擎；善用**时间旅行（Time Travel）**特性以及 **OPTIMIZE/ZORDER** 命令来提升性能。
- **Unity Catalog**实现集中化治理管控（metastore → catalog → schema → table）。
- **Notebook 单元格**支持通过 `%sql`、`%python` 等指令进行多语言切换——按需以内联形式使用即可。
- **DLT 与工作流**可将 Notebook 转化为生产就绪的定时管道，并具备清晰的数据血缘关系与 SLA。