在现代数据处理和工作流管理中，Apache DolphinScheduler 以其强大的调度能力和易用性，成为了许多企业和开发者的首选工具。 本文将深入探讨 DolphinScheduler 的进阶使用技巧，包括参数传递、资源中心管理、告警通知配置，以及如何在真实项目中高效使用 DolphinSch ...

1. 选择技术 1.1. 架构第一，技术第二 1.2. 现如今数据工程师因技术种类过于繁杂丰富而感到选择困难 1.3. 许多完整并可立即使用的数据技术触手可得 1.3.1. 开源代码 1.3.2. 托管开源 1.3.3. 软件专利 1.3.4. 服务专利 1.4. 数据工程核心：设计出可靠稳定的系统 ...

我的这个产生的原因： 之前做项目的时候检测到category表了，但后来数据库断开后，等再次连接上数据库，可以检测到数据库，但数据库中的表直接用，是检测不到的。 解决方法一： 使用数据库中表的时候，可以 [数据库.数据库表]，如下图所示，可以看到此时使用表就不爆红了。 解决方法二： 鼠标移动到数据表 ...

Apache SeaTunnel 2.3.8 版本现已正式发布！此次版本后，用户将可以使用期待已久的Docker镜像，还可以体验Job级别日志功能，以及其他更新优化的功能。本文将详细介绍 Apache SeaTunnel 2.3.8 版本中的关键更新内容，欢迎更多开发者和用户参与到我们的开源社区中来 ...

DolphinScheduler 是一款强大的开源分布式任务调度系统，广泛应用于大数据领域，用于管理复杂的工作流。本文将详细介绍如何通过 Docker Compose 安装和配置 DolphinScheduler，以便快速搭建并使用这一系统。 1. 环境准备 首先，确保你的系统已经安装了 Docke ...

某市驾驶培训监管服务平台 GreatSQL 数据库适配之旅 一、项目背景 某市驾培系统主要为社会公众提供驾培单位查询和学车报名，为相关合作单位提供某市驾培监管、某市驾培考核等功能。业务信息教练车培训过程视频信息、包括培训机构基本信息、教练员基本信息和学员个人等信息，其服务范围为社会公众。信息系统定级 ...

1. ZK集群，Hadoop集群，Hbase集群安装 Linux121 Linux122 Linux123 Hadoop ✔ ✔ ✔ MySQL ✔ ZK ✔ ✔ ✔ HBASE ✔ ✔ ✔ 1.1 安装Vmware，安装虚拟机集群 1.1.1 安装 (VMware-workstation-full ...

1. 数据架构不是凭空设计的 1.1. 数据架构是一门抽象学科，所以它有助于通过示例进行推理 2. 数据仓库 2.1. 一个面向主题的、集成的、非易失性和时变的数据集合，以支持管理决策 2.2. 数据仓库是用于报告和分析的中央数据中心 2.2.1. 数据仓库中的数据通常针对分析用例进行了高度格式化和 ...

[20241013]sqlplus spool与文件覆盖.txt--//这个问题在8月份遇到的问题，我发现在sqlplus下spool a.sql文件，并没有在当前目录产生a.sql文件，后来我发现建立在环境变量--//ORACLE_PATH定义的目录下,当时以为自己打开多个会话，没有注意自己工作的 ...

本篇章为初步了解mysql数据事务控制问题，事务作为MySQL的基础篇章是至关重要的一部分内容！ 事务 1、事务简介 事务是一组操作的集合，它是一个不可分割的工作单位，事务会把所有的操作作为一个整体一起向系统提交或撤销操作请求，即这些操作要么同时成功，要么同时失败。 默认MySQL的事务是自动提交的 ...

大家好，我是 V 哥。在实际的业务场景中，Spark任务出现OOM（Out of Memory） 问题通常是由于任务处理的数据量过大、资源分配不合理或者代码存在性能瓶颈等原因造成的。针对不同的业务场景和原因，可以从以下几个方面进行优化和解决。 一、业务场景及可能的OOM原因分析 数据量过大： 业务场 ...

误删GreatSQL数据？别慌，Binlog来帮忙 数据丢失是每一个数据库管理员和开发者都不愿面对的噩梦。然而，意外总是难免，当不小心删除了重要的数据，如何才能迅速而有效地进行恢复呢？在数据库中有二进制日志 (Binlog)，它不仅记录了所有更改数据的事件，还可以帮助将数据库恢复到任何一个特定的时间 ...

近日，Gartner发布了24年《中国数据分析及人工智能成熟度周期报告》，在成熟度曲线中声明“数据中台”已被淘汰。数据中台，这个曾被奉若圭臬，视为先进架构的标志性建筑，将就此将淡出历史舞台。 有些东西，在它真正消亡前，就已经被遗忘。 其实，早在几年前，国内技术圈已经不再热衷于数据中台概念，一位IT媒 ...

1. 域和服务 1.1. 域是你正在为其构建的现实世界主题区域 1.2. 服务是一组功能，其目标是完成一项任务 1.3. 一个域可以包含多个服务 1.4. 确定领域中应包含的内容 1.4.1. 确定领域应该包含什么以及要包括哪些服务时，最好的建议是简单地去与用户和利益相关者交谈，倾听他们在说什么，并 ...

1. sql基础 1.1. 数据库常用的数据类型 1.2. 带n与不带n的区别 1.3. 带var与不带var的区别 1.4. 2.基础操作 1.4.1. 更新语句 1.4.2. 删除语句 1.4.3. 约束 1.4.4. 修改表结构 1.4.5. 查询表 1.4.6. 模糊查询 _ % [ ] ^ ...

MERGE同步两个表， 根据与源表的JOIN 条件，来通过插入、更新和删除目标表行,达到2张表数据一致。 MERGE 语法： ， MERGE TOP (value) <target_table> USING <table_source> ON <merge_search_condition> [ W ...

1. 企业架构 1.1. 企业架构有很多子集，包括业务、技术、应用程序和数据 1.2. TOGAF 1.2.1. The Open Group Architecture Framework，是The Open Group的一个标准 1.2.2. 被誉为当今使用最广泛的架构框架 1.2.3. 定义 1 ...

[20241012]cursor_sharing=force与函数索引.txt--//今天听了一个课程，提到使用cursor_sharing=force解决sql语句使用文字变量问题以及局限性，实际上一些局限性在新的oracle版--//本已经不存在， 突然想起今年3月份的事情，使用cursor_s ...

近日，“创客北京2024”海淀区复赛名单正式公布，白鲸开源凭借其全球领先的云原生DataOps平台——WhaleStudio，荣获企业组优秀奖，并成功进入复赛名单。 此次“创客北京2024”海淀区级赛由中关村科学城管理委员会主办，北京中关村科学城科创服务有限公司与中国北京（海淀）留学人员创业园（海淀 ...

rebootClusterFromCompleteOutage()是MySQL Shell中的一个实用命令，用于在 InnoDB 集群遇到完全中断 （例如，当组复制在所有成员实例上停止时）后重新配置和恢复集群。这个命令允许你连接到集群中的一个 MySQL 实例，并使用该实例的元数据来恢复整个集群。 ...