1. 运行分析型数据转换 1.1. 确保ETL期间的数据质量 1.1.1. ETL即“提取-转换-加载”​ 1.1.2. 步骤 1.1.2.1. 在提取步骤中，原始数据从一些上游数据源中导出，并将其移动到暂存区 > 1.1.2.1.1. MySQL > 1.1.2.1.2. NoSQL服务器 > 1 ...

前言 大家好，我是小徐啊。达梦数据库是我们一款常用的国产数据库，我之前一直在使用它。用起来和mysql和postgresql比起来，还是差不多的。而且它自带了数据库连接工具DM管理工具，使我们很方便的连接它。 今天，小徐就来介绍下如何用DM管理工具浏览数据，并且用条件去筛选数据。手把手教学。 如何操 ...

就两个点 在union语句中，内部临时表用于暂存数据并执行两个子查询的并集 第二：强调了通过索引优化group by语句的执行效率 如何group by优化查询？ 1.如果没有排序要求，要在语句后面加 order by null； 2.尽量让 group by 过程用上表的索引 3.如果 group... ...

笔者最近写了一个PostgreSQL自动故障转移脚本，在测试的过程中，发现pg_wal目录中除了常规的wal日志文件，还会生成其他类型的文件，参考如下截图，除了wal日志，其他的这些文件代表什么意思，用什么用途？如下译文中将会给出一个完成的答案。 pg_wal目录 archive_status目录： ...

1. 批处理 1.1. 批处理在一段时间内收集数据，然后将大量数据“批处理”在离散的数据包中 1.2. 直到20世纪10年代中期，批处理都是处理分析型数据最常用的方法 1.3. 批处理比流处理要便宜得多，即使是对时间要求最苛刻的处理需求也足以满足 1.4. 批处理是经过时间考验的标准，并且仍然是公司 ...

什么是libpq libpq是应用程序使用PostgreSQL的C接口。libpq是一个库函数的集合，它们允许客户端程序传递查询给PostgreSQL后端服务器并且接收这些查询的结果。libpq也是很多其他PostgreSQL应用接口的底层引擎，包括为 C++、Perl、Python、Tcl 和 E ...

各位热爱 Apache SeaTunnel 的小伙伴们，社区10月份月报来啦，请查收！ 这里将记录Apache SeaTunne社区每月动态和进展，欢迎关注。 月度Merge之星 感谢以下小伙伴上个月为 Apache SeaTunnel 所做的精彩贡献（排名不分先后）： @Hisoka-X,@prc ...

各位热爱 Apache DolphinScheduler 的小伙伴们，社区10月份月报更新啦！这里将记录 DolphinScheduler 社区每月的重要更新，欢迎关注！ 月度Merge之星 感谢以下小伙伴10月份为 Apache DolphinScheduler 所做的精彩贡献（排名不分先后）： ...

【GreatSQL优化器-02】索引和Sargable谓词 一、Sargable谓词介绍 GreatSQL的优化器在有过滤条件的时候，需要先把条件按照是否有索引来进行区分，可以用索引来加速查询的条件称为Sargable，其中 arge 来源于 Search Argument（搜索参数）的首字母拼成的 ...

每种数据库在实现多表更新和子查询优化方面的支持各不相同。以下是 Oracle、MySQL 和 PostgreSQL 中多表更新的一些主要差异和惯用写法： 1. Oracle MERGE 语句：Oracle 支持 MERGE INTO ... USING ... ON ... 语法，非常适合多表更新和 ...

1. 收集数据 1.1. 数据收集和清洗是生产管道中的第一步 1.1.1. 数据转换和测试则在生产管道中解决数据质量问题 1.2. 在收集数据时，管道的任何地方可能都没有入口点重要，因为入口点是任何数据管道中最上游的位置 1.3. 入口点定义为来自外部世界的数据进入数据管道的初始接触点 1.4. 在 ...

前言 大家好，我是小徐啊。 DBeaver是一款常用的数据库连接工具，它的优点是免费使用，而且支持的数据库类型超级多，甚至可以直接安装数据库对应的驱动jar包来连接数据库。 比如达梦数据库，之前版本是可以通过jar包方式设置驱动来连接达梦数据库的。好了，言归正传，今天小徐要介绍一个DBeaver的隐 ...

HBase的Split机制 Region的分裂策略 HBase中的Region存储的是一张表的数据。当Region中的数据条数过多时，会直接影响查询效率，过大的Region会被拆分为两个Region，HMaster会将这些分裂的Region分配到不同的RegionServer上，最终达到负载均衡的目 ...

5.7 与 8.0 对相同文件的 LOAD DATA 语句结果不同 问题描述 某客户现场支持，由MySQL 5.7.21升级MySQL 8.0.25后，通过LOAD DATA导入文件，当同一会话连续导入不同的编码（UTF8/GB18030）文件时会出现乱码。数据库版本未升级之前，相同的导入操作在My ...

在数字化转型的浪潮下，银行业对数据的依赖日益加深。为提升数据管理和应用水平，西南某城商行于2022年启动了数据中台建设，采用创新技术手段优化其数据服务体系。 本文将深入探讨该行如何借助Whalestudio平台构建数据中台，以及在实际应用中取得的显著成效。 从需求到选择：数据中台系统的选型过程 该银 ...

写了一些使用sparksql以及spark机器学习来进行数据分析的东西，希望能给大家做一些参考 项目需求：对某大型商超客户采购数据集进行数据分析 数据来源：https://www.heywhale.com/mw/dataset/656069b19a74cc18269207c4/content 首先使 ...

首先下载 redis 安装包： https://github.com/MSOpenTech/redis/releases 解压安装包到相应文件夹，任何盘符都行，例如D:\ide\redis3.0.504 使用命令行启动 Redis 服务 运行 cmd，cd 进入对应目录D:\ide\redis3.0 ...

使用 Infinispan 缓存功能支持多个 Redis 数据库 在 Infinispan 15 中，我们提供了大量命令，可以在不更改代码的情况下将 Redis 服务器替换为 Infinispan。在本教程中，您将了解 Infinispan 缓存别名如何帮助您将多个 Redis 数据库的 Redis ...

理解Partition 向量检索服务DashVector的Collection具有分区（Partition）的能力，同一个Collection下的Doc可通过不同的Partition进行物理和逻辑上的分区。各种Doc操作（如插入Doc、检索Doc等。若指定Partition，则该操作将限定在该指定的 ...

本文主要介绍带关键词感知能力的向量检索服务的优势、应用示例以及Sparse Vector生成工具。 背景介绍 关键词检索及其局限 在信息检索领域，"传统"方式是通过关键词进行信息检索，其大致过程为： 对原始语料（如网页）进行关键词抽取。 建立关键词和原始语料的映射关系，常见的方法有倒排索引、TF-I ...