从SQL Server过渡到PostgreSQL：理解模式的差异 前言 随着越来越多的企业转向开源技术，商业数据库管理员和开发者也逐渐面临向PostgreSQL迁移的需求。 虽然SQL Server和PostgreSQL共享许多数据库管理系统（RDBMS）的基本概念，但它们在处理某些结构上的差异可能 ...

1. 背景和技能 1.1. 数据工程是一个快速发展的领域，关于如何成为一名数据工程师仍然存在很多问题 1.2. 进入数据工程领域的人在教育、职业和技能方面有着不同的背景 1.2.1. 每个进入该领域的人都应该投入大量的时间进行自学 1.3. 从一个邻近的领域转到数据工程是最容易的 1.3.1. 软件 ...

1. 数据工程 1.1. 自从公司开始使用数据做事，数据工程就以某种形式存在了 1.1.1. 预测性分析、描述性分析和报告 1.2. 数据工程师获取数据、存储数据，并准备数据供数据科学家、分析师和其他人使用 1.3. 数据工程是系统和流程的开发、实施和维护，这些系统和流程接收原始数据并生成支持下游用 ...

前言 经常使用MySQL数据库的小伙伴都知道，当单表数据量达到一定的规模以后，查询性能就会显著降低。因此，当单表数据量过大时，我们往往要考虑进行分库分表。那么如何计算单表存储多大的数据量合适？当单表数据达到多大的规模时，我们才要进行分库分表呢？ MySQL存储方式 首先我们要先了解一下MySQL存储 ...

一、理论相关 我们知道，Redis具有高可靠性，其含义包括： 数据尽量少丢失 - AOF 和 RDB 服务尽量少中断 - 增加副本冗余量，将一份数据同时保存在多个实例上，即主从库模式 Redis主从库模式 - 保证数据副本的一致（读写分离）： 读操作：主库、从库都可以接收 写操作：首先到主库执行，然 ...

1. 数据目录 1.1. 需要将分析基础设施放置在数据目录(Data Catalogue)的结构中 1.1.1. 元数据 1.1.2. 数据模型 1.1.3. 本体 1.1.4. 分类标准 1.2. 数据目录类似于图书馆的图书检索目录 1.2.1. 先通过图书馆的图书检索目录进行查找，以便快速找到所 ...

1. 描述性数据 1.1. 基础数据中包含不同类型的数据，而不同类型数据的描述性数据也存在显著的差异 1.2. 尽管这些描述性数据存在根本性的差异，但通过描述性数据，我们可以全面了解基础数据中的数据 1.3. 通过分析基础设施中提供的描述性数据可以获得更详细的数据 1.3.1. 分析基础设施是通往详 ...

原文地址：https://www.prisma.io/dataguide/postgresql/reading-and-querying-data/optimizing-postgresql 概述 在数据库作为后台支撑的应用程序中，管理数据库的性能是一项持续的任务。运行缓慢的查询可能导致超时、降低用 ...

1. 数据湖仓中的数据集成 1.1. 数据湖仓的总体目标是为每一个人提供支持，包括从普通职员到CEO 1.2. 有了作为基础设施的基础数据，企业等组织才能实现真正的数据驱动 1.3. 提供组织所需的数据，最关键的一环在于提供集成的数据基础 1.3.1. 只将数据扔进数据湖仓就指望它能满足人们的需求是 ...

SpringBoot使用properties连接数据库时没有出现问题 SpringBoot使用yml连接数据库时出现：Unable to connect to Redis 并在报错信息中出现： 发现是用户或者密码出现问题 通过查询知道yml是区分数据类型的，所以如果用户名或者密码是数字的话，就要注意 ...

概述 Redis 的发布/订阅是一种消息通信模式：发送者（Pub）向频道（Channel）发送消息，订阅者（Sub）接收频道上的消息。Redis 客户端可以订阅任意数量的频道，发送者也可以向任意频道发送数据。在发送者向频道发送一条消息后，这条消息就会被发送到订阅该频道的客户端（Sub） Redis ...

1. 业务价值 1.1. 技术和商业在这个世界上是相互交织的 1.1.1. 基础数据在商业和技术应用中是不可或缺的 1.2. 技术的存在是为了推动商业的目标和进步，并由企业出资支持 1.2.1. 当技术推动商业发展时，商业会蓬勃发展，技术也会随之繁荣 1.2.2. 当技术发展偏离这个基本模式时，它就 ...

1. 大容量存储器 1.1. 几乎是到最后时刻，大容量存储器才被引入基础数据的基础设施中 1.1.1. 分析人员通常不会直接在大容量存储器中进行数据分析 1.1.2. 大容量存储器在基础数据中扮演的角色也特别重要，它能够在许多方面支持数据分析人员自由灵活地完成工作，也为数据湖仓的高效使用奠定了基础 ...

[20240930]关于共享池-表对象在库缓存探究2.txt--//以前探究过sql语句在共享池存在父子游标，父游标存在堆0，子游标堆0，堆6，通过各种指针链接起来，--//父游标的堆0上保存了所有子游标的列表和各个子游标的句柄指针，子游标的堆6中保存了解析过的执行计划等解析信息。--//前几天测试 ...

今天我们将继续深入探讨KES的单机安装，依然围绕Docker的使用展开。这一部分的内容将涵盖一些常见的陷阱以及在遇到问题时如何进行有效的反馈和解决。首先，我们需要找到官方的安装教程，确保以官方指南为主，同时结合我们自己的使用习惯。 为什么我们如此青睐Docker，而不是选择传统的命令行安装呢？在当今 ...

PostgreSQL的流复制，从整体上看，可以粗分为同步与异步两种模式，其中涉及的主要参数包括synchronous_commit和synchronous_standby_names 主节点synchronous_commit参数设置 synchronous_commit事务提交模式，类似于MySQ ...

为什么需要Docker部署数据库 常规使用 yasboot 部署数据库的方法，操作流程复杂，需要配置许多配置文件以及环境变量，不同用户使用的环境不同，那么环境配置也会存在差异，每当更换机器或者有新系统开发时都要就要重复不熟⼀次。 使用 Docker 后，只需要⼀次配置好环境，换到别的机器上就可以一键 ...

从去年开始，⼀直在学习国产数据库YashanDB，对YashanDB的总体感觉还是非常不错的。作为对学习成果的考察，去年通过了YashanDB官方组织的YCA认证，4月底⼜参加了YCP认证，YCP认证包括笔试部分和实操部分。在准备实操部分的练习时，使用Yasboot安装YashanDB时遇到了⼀点小 ...

1. Oracle数据库介绍 1.1. 关于关系型的数据库 每个组织都有必须存储和管理的信息，以满足其需求。例如，公司必须收集和维护员工的人力资源记录。这些信息必须对需要它的人可用。信息系统是一个用于存储和处理信息的正式系统。 信息系统可以是一组包含文件夹的纸箱，以及存储和检索文件夹的规则。然而，如 ...

锁 概述 锁是计算机协调多个进程或线程并发访问某一资源的机制。在数据库中，除传统的计算资源(CPU、RAM、I/O)的争用以外，数据也是一种供许多用户共享的资源。 如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。 从这个角度来说，锁 ...