← 返回快讯

快讯

Databricks分享2小时动手课程：用Spark声明式管道与Lakeflow Designer构建端到端数据管道

databricks

Databricks发布一门2小时动手课程，由Andreas Kretz演示如何在Databricks上使用Spark Declarative Pipelines和Lakeflow Designer构建端到端数据管道。课程涵盖Delta Lake与Unity Catalog基础、medallion架构的Bronze→Silver→Gold管道，并演示Databricks Assistant和Genie如何加速开发。

Databricks数据管道SparkLakeflow Designer课程

查看原始帖子 ↗

所属事件 →

事件来源

查看原文
In this 2-hour hands-on course, Andreas Kretz walks through how to build end-to-end data pipelines on Databricks using Spark Declarative Pipelines and Lakeflow Designer. Along the way, you'll: ✔️ Learn the fundamentals of Delta Lake and Unity Catalog ✔️ Build a Bronze → Silver → Gold pipeline using the medallion architecture ✔️ See how declarative pipelines handle dependencies and orchestration automatically ✔️ Build pipelines visually with Lakeflow Designer ✔️ Explore how Databricks Assistant and Genie can accelerate development https://www.youtube.com/watch?v=nrfP2_frM5k

前后事件

上一篇thdxr为OpenCode iOS应用开放更多TestFlight测试名额，限量1000个

下一篇StepFun发布Step 5 Preview，在Kilo中免费试用一周

同账号事件

  • Databricks参考实现：Temporal结合Lakebase Postgres构建持久化云端Agent

    Databricks介绍一项参考实现，将Temporal与Lakebase Postgres结合，使云端agent记录的工作在worker替换后仍可保留，证据与审核状态保持可查询，人工决策可在数天后到达。Unity Catalog通过同步表继续作为治理策略来源。

  • Databricks与Replit推出集成，加速基于企业数据的业务应用开发部署

    Databricks宣布与Replit的新集成，可加速业务应用开发，并支持在实时、受治理的企业数据上部署。官方四步设置指南面向Databricks管理员、Replit组织管理员和最终用户，号称可在15分钟内从零构建出受治理的生产级应用。

  • Databricks 宣布 Workday Data Connect 联邦功能在 Unity Catalog 进入 Beta

    Databricks 官方宣布，Workday Data Connect 联邦（federation）功能现已在 Unity Catalog 进入 Beta 阶段。团队表示，使用 Workday Data Cloud 的团队可以对其共享的 HR 与财务表获得零拷贝、只读访问；Databricks 负责执行查询，Unity Catalog 负责管理访问权限、血缘与审计。用户可将现有的人员与财务数据与企业其他数据结合，用于分析和 AI 场景，包括基于 Genie 的自然语言数据探索、人力分析和财务规划。

  • Databricks Day 0 上线 Anthropic 新模型 Claude Haiku 5.5，自称质量较 Haiku 4.5 提升约 15%

    Databricks 宣布 Anthropic 最新模型 Claude Haiku 5.5 以 Day 0 形式在其平台上可用。作者称该模型是 Anthropic 发布过的最便宜、最快、能力最强的小模型；在 Databricks 的 OfficeQA Pro V1 基准测试中，Claude Haiku 5.5 的质量比 Haiku 4.5 高出约 15%，成本则低得多。用户可在 Databricks 上运行 Haiku 5.5 及 60 多个其他模型，用于驱动 agentic 应用和智能体，由 Unity Gateway 负责治理、监控和安全。上述性能和基准结论均来自作者陈述，未经独立核实。

  • Claude Haiku 5.5 以 Day 0 形式上线 Databricks，基准质量较 Haiku 4.5 提升约 15%

    Databricks 宣布 Anthropic 最新模型 Claude Haiku 5.5 以 Day 0 形式在 Databricks 平台上线。Databricks 称这是 Anthropic 迄今最便宜、最快、能力最强的小模型，并声称在其 OfficeQA Pro V1 基准上 Haiku 5.5 比 Haiku 4.5 质量高约 15%、成本仅为一小部分（均为 Databricks 说法，未独立核实）。用户可在 Databricks 上基于既有数据运行该模型及 60 余款其他模型，治理与调用安全由 Unity Gateway 负责。