第三十三讲：到底可不可以使用join？ 简概： 厌烦了平淡的开头 提出问题 ​ 在实际生产中，关于 join 语句使用的问题，一般会集中在以下两类： 我们 DBA 不让使用 join，使用 join 有什么问题呢？ 如果有两个大小不同的表做 join，应该用哪个表做驱动表呢？ 提出示例 ​ 今天这篇 ...

MySQL--DAY04 索引 定义 索引是在数据库表的字段上添加的，是为了提高查询效率存在的一种机制。 一张表的一个字段可以添加一个索引，当然，多个字段联合起来也可以添加索引。 索引相当于一本书的目录，是为了缩小扫描范围而存在的一种机制。 对于一本字典来说，查找某个汉字有两种方式： 第一种方式：一 ...

Apache SeaTunnel作为一款高效的数据集成和同步工具，一直活跃于大数据领域。Milvus作为全球领先的开源向量数据库，致力于推动向量数据管理和AI的应用。 在最新版本中，SeaTunnel Connector已正式支持向量数据库Milvus，这是SeaTunnel在助力用户提升AI应用开 ...

需求：编写程序利用Spark Streaming 监控HDFS 目录/input目录下的文件，并对上传的文件进行词频统计。 首先，linux中需要有netcat，来实现监听功能，有的linux会自带这个软件，可以用下面的命令测试一下，如果不报错就没问题，Ctrl+z可以退出 nc -l 9999 没 ...

1. 转换 1.1. 转换与查询不同 1.1.1. 查询是根据过滤和连接逻辑从各种来源检索数据 1.1.2. 转换将结果持久化，供其他转换或查询使用 1.1.2.1. 结果可以被短暂地或永久地保存 1.1.3. 除了持久性，转换区别于查询的另一个特点是复杂性 1.1.3.1. 你可能会建立复杂的数据 ...

MySQL--DAY03 一个案例 查询每一个员工的所在部门名称？要求显示员工名和部门名。 mysql> select * from emp; + + + + + + + + + | EMPNO | ENAME | JOB | MGR | HIREDATE | SAL | COMM | DEPTNO ...

MySQL--DAY01 基本概念 数据库：英文单词DataBase，简称DB。按照一定格式存储数据的一些文件的组合。 顾名思义：存储数据的仓库，实际上就是一堆文件。这些文件中存储了具有特定格式的数据。 数据库管理系统：DataBaseManagement，简称DBMS。 数据库管理系统是专门用来管 ...

Redis的ZSet底层数据结构，ZSet类型全面解析；应用场景、底层结构、常用命令；压缩列表ZipList、跳表SkipList；B+树与跳表对比，MySQL为什么使用B+树；ZSet为什么用跳表，而不是B+树、红黑树、二叉树 ...

我的服务器数据库内存还有4个G，里面有8个G的表，现在，我要让我的客户机远程连接服务器后对数据库进行一次全表扫描，请问，我的服务器会不会因为内存被8个G的表塞得溢出而崩溃？ 面试关如实问到 在我阅读这篇文章后，我会这么跟面试官说： 第一，内存不会打满，除非socket send buffer... ...

Redis数据结构——List类型全面解析：存储多个有序的字符串，列表中每个字符串成为元素 Eelement，最多可以存储 2^32-1 个元素。可对列表两端插入（push）和弹出（pop）、获取指定范围的元素列表等，常见命令。 底层数据结构：3.2版本之前，底层采用**压缩链表ZipList**... ...

1. 数据建模 1.1. 良好的数据架构必须反映出使用这些数据的组织的业务目标和业务逻辑 1.2. 数据湖1.0、NoSQL和大数据系统的兴起，使工程师们有时是为了合理的性能提升去忽略传统的数据建模 1.3. 数据在企业中的地位急剧上升，人们越来越认识到，建模对于实现数据科学需求层次金字塔中更高层次 ...

在一个阳光洒满教室的温暖午后，hr隔着腾讯会议的屏幕目光如炬得看着你，大喝一声，你在mysql实验中有没有遇到sql语句kill不了的情况，所！ 每一个sql语句的线程执行都有一个或多个“埋雷点”，kill query或kill 线程id都是向这个埋雷点发信号激活，所以，当这个sql语句执行到被激活... ...

mysql数据误删后的数据回滚 第一步：下载MyFlash工具 # 创建文件夹 mkdir /back_data cd /back_data # 下载压缩包 wget https://codeload.github.com/Meituan-Dianping/MyFlash/zip/master # ...

1. 查询 1.1. 通过理解查询、建模和转换​，你会掌握将原始数据转化为下游利益相关者可用数据的工具 1.2. 被很多人熟知的SQL，这是最流行和通用的查询语言 1.3. 查询是数据工程、数据科学和数据分析的基础 1.4. 在了解数据转换的基本模式和技术之前，你需要了解什么是查询、它如何在各种数据 ...

1、安装包 Navicat 17： 链接：https://pan.quark.cn/s/01e0265eb7eb提取码：wmti Navicat 16： 链接：https://pan.quark.cn/s/63c07b20ea7b提取码：B9ij 2、安装教程（这里以安装Navicat 17 为例） ...

flashback实现数据快速复原 MyFlash 限制 仅支持 5.6 与 5.7 版本 binlog 格式必须为 row，且 binlog_row_image=full 只能回滚DML（增、删、改） 第零步：确定日志 mysql> show variables like 'log_bin%'; ...

背景 在当今数据驱动的世界中，企业必须适应数据管理、分析和利用方式的快速变化。传统的集中式系统和单片式架构虽然在历史上已经足够，但已无法满足企业日益增长的需求，因为企业需要更快地实时获取数据见解。事件驱动数据网格架构是这一领域的革命性框架，与 AWS 服务结合后，它将成为应对复杂数据管理挑战的强大解 ...

Oracle与GreatSQL差异：更改唯一索引列 1.问题来源 在从Oracle迁移到GreatSQL的应用系统中，一条普通的update语句在GreatSQL中却报错，需要进行SQL语句的改写。把实际问题简化为下面简单情况进行说明。 在Oracle下，可以正常执行的update语句。 -- 建表 ...

利用版本回退实现误操作数据恢复 简概 步骤 描述 步骤 1 准备 MySQL 环境 步骤 2 创建数据表 步骤 3 插入初始数据 步骤 4 创建时间点快照 步骤 5 演示数据更新 步骤 6 使用快照恢复数据 步骤 1: 准备 MySQL 环境 首先，确保你已安装 MySQL 数据库，并有权限创建数据 ...

###checkpoint的作用将脏页写入磁盘，避免数据库实例重启之后需要从WAL中恢复大量的数据而增加数据库恢复时间 ###checkpoints的触发时机1，手动CHECKPOINT命令；2，pg_basebackup，CREATE DATABASE，或pg_ctl stop|restart；3 ...