1. 数据问责制 1.1. 数据问责制意味着分配一个人来管理一部分数据 1.1.1. 负责人协调其他利益相关者的治理活动 1.1.2. 如果没有人对相关数据负责，那么管理数据质量就会很困难 1.1.3. 负责数据的人不一定是数据工程师 1.1.4. 负责人可能由软件工程师、产品经理或其他角色担任 1 ...

数据资产管理是一项系统而复杂的工程，涉及到元数据、数据血缘、数据质量、数据服务、数据监控、数据安全、数据权限等众多方面，为了更高效的管理好数据资产，因此在很多大型的企业或者组织中，通常会构建一个数据资产管理平台来管理这些各种各样的数据资产，数据资产管理平台通常会包含如下功能： 关注清哥聊技术公众号， ...

1. 主要底层设计 1.1. 以前的数据工程周期只关注技术层，而工具和实践的持续抽象和简化已经改变了这一重点 1.2. 数据工程现在包含的不仅仅是工具和技术 1.2.1. 该领域现在正在向价值链上游移动，将数据管理和成本优化等传统企业实践与DataOps等新实践相结合 1.3. 底层设计 1.3.1 ...

Apache DolphinScheduler介绍 Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Dag背景知识 摘录了一下Dag的offical定义 A ...

引言 随着大数据的发展，任务调度系统成为了数据处理和管理中至关重要的部分。Apache DolphinScheduler 是一款优秀的开源分布式工作流调度平台，在大数据场景中得到广泛应用。 在本文中，我们将对 Apache DolphinScheduler 1.3.9 版本的源码进行深入分析，主要分 ...

流批一体是数据领域的热门话题，随着实时数据处理需求的不断涌现和Flink等新兴流计算技术的持续发展，流批一体正从技术愿景向具体的、适配不同行业特点的解决方案过渡。 个人认为，流批一体解决方案的重点分为四个方面，数据集成、存储引擎、计算引擎、元数据管理。 数据集成 传统的批量数据集成方式是每日一次的批 ...

1. 获取 1.1. 在了解数据源、所用源系统的特征以及数据的存储方式之后，你需要收集数据 1.2. 数据工程生命周期的下一阶段是从源系统中获取数据 1.2.1. 源系统和获取代表了数据工程生命周期中最重要的瓶颈 1.2.2. 源系统通常不在你的直接控制范围内，可能会随机变得无响应或提供质量差的数据 ...

[20241009]oracle timestamp with time zone数据类型的存储.txt--//放假前遇到的问题，开发在表中定义了几个timestamp with time zone的数据类型，及时更正对方的错误，完全没有使用这样的数据--//类型。类似的问题我以前就遇到，比如全部应 ...

各位热爱 Apache DolphinScheduler 的小伙伴们，社区 9 月月报更新啦！这里将记录 Apache DolphinScheduler 社区每月的重要更新，欢迎关注！ 月度 Merge Star 感谢以下小伙伴上个月为 Apache DolphinScheduler 做的精彩贡献（ ...

各位热爱 SeaTunnel 的小伙伴们，9月份社区月报来啦！这里将定期更新SeaTunnel社区每个月的重大进展，欢迎关注！ 月度Merge Stars 感谢以下小伙伴上个月为 Apache SeaTunnel 做的精彩贡献（排名不分先后）： @ZhangWeike2000,@wuchunfu,@ ...

今天，hr见到你简历上写过“搭建过mysql主从，有使用的经验” 突然兴致来了一句“你在搭建的时候，如何判断要主备库切换，说一下你的理解” 我重生了，回到了面试的前一分钟，上一世，我没能回答这个问题，这一世，我将。。。。（编不下去了） 哎，你可以说用select 1 判断，但他成功返回并不能说明主库... ...

通过MySQL Workbench 将 SQL Server 迁移到GreatSQL 一、概述 MySQL Workbench 提供了可以将Microsoft SQL Server的表结构和数据迁移到 GreatSQL 的功能，此次将通过MySQL Workbench将SQL Server的数据迁移 ...

概览 索引是一种数据结构，用于帮助我们在大量数据中快速定位到我们想要查找的数据。 索引好比一本好书的目录页，需要查询某个章节直接在目录页查找，然后打开响应页数。 但索引也不是就快，如果章节少，那就直接翻开书找即可很快找到，只有章节非常多时，我们就可以利用索引快速找到。 所以，如果想让索引发挥出其真正 ...

笔者在最近的项目开发中，频繁地遇到了 Java 类型与 JDBC 类型之间的转换问题： 1、数据库的 varchar 类型字段，需要存储 Java 实体中的 JSON 字符串； 2、数据库的 int 类型字段，需要存储 Java 实体中的 Enum 枚举。 ...

1. 数据工程生命周期 1.1. 数据领域正在经历新数据技术和实践的爆炸式增长，抽象程度和易用性不断提高 1.2. 由于技术抽象程度的增加，数据工程师将越来越多地成为数据生命周期工程师，根据数据生命周期管理的原则来进行思考和操作 1.3. 数据工程生命周期包括将原始数据成分转化为有用的最终产品的阶段 ...

MySQL的基本语法（增，删，改，查） MySQL中的（增）操作 创建数据库 CREATE DATABASE 库名; 例如： CREATE DATABASE db; 创建一个名为db的数据库。 创建列表 use 数据库名; CREATE TABLE 表名( 字段名1 数据类型1, 字段名2 数据类型 ...

本文为Apache SeaTunnel Socket Connector的使用文档，旨在帮助用户快速理解和有效利用Socket Connector，助力用户的应用程序实现高效、稳定的网络通信。 Socket是应用层与TCP/IP协议族之间进行通信的中间软件抽象层，它是网络编程的基础，通过Socket ...

本文详细分析了GaussDB (for MySQL) 在不同层级的流控机制，包括反馈式流控在存储层和计算层的策略和流程，以及计算节点的主动平滑流控的方案。 ...

从SQL Server过渡到PostgreSQL：理解模式的差异 前言 随着越来越多的企业转向开源技术，商业数据库管理员和开发者也逐渐面临向PostgreSQL迁移的需求。 虽然SQL Server和PostgreSQL共享许多数据库管理系统（RDBMS）的基本概念，但它们在处理某些结构上的差异可能 ...

1. 背景和技能 1.1. 数据工程是一个快速发展的领域，关于如何成为一名数据工程师仍然存在很多问题 1.2. 进入数据工程领域的人在教育、职业和技能方面有着不同的背景 1.2.1. 每个进入该领域的人都应该投入大量的时间进行自学 1.3. 从一个邻近的领域转到数据工程是最容易的 1.3.1. 软件 ...