数据库
刷新
MySQL 8.0 执行COUNT()很慢原因分析

博主头像 MySQL 8.0 执行COUNT()很慢原因分析 1.1 问题描述 线上 MySQL8.0.32 环境在执行 SELECT COUNT (1) FROM t0 获取表行数很慢，同样场景下该 SQL 在 MySQL5.7 环境很快就能拿到结果 1.2 问题复现 测试版本：8.0.25 MySQL C ...

hadoop基础知识分享(二)

博主头像 写在前面 今天继续学习hadoop部分的知识。 MapReduce 数据切片 InputFormat 接口 InputFormat 是一个抽象类，定义了两个方法： getSplits：负责实现数据切片的方法 createRecordReader：实现数据的 key-value 格式。 FileInp ...

使用SeaTunnel从InfluxDB同步数据到Doris

博主头像 本文介绍了如何使用SeaTunnel将数据从InfluxDB同步到Doris。通过SeaTunnel强大的数据集成功能，用户可以高效地将存储于InfluxDB中的时间序列数据传输至Doris，便于数据的访问与分析。 版本信息： SeaTunnel 2.3.3 InfluxDB 2.7.6 Doris ...

TableFill：一天搞定1000人的数据填报工作丨2024袋鼠云秋季发布会回顾

博主头像 10月30日，袋鼠云成功举办了以“AI驱动，数智未来”为主题的2024年秋季发布会。大会深度探讨了如何凭借 AI 实现新的飞跃，重塑企业的经营管理方式，加速数智化进程。 会上，易知微产品经理林树为大家带来了一款新产品——多层级数据填报与报送平台TableFill。TableFill是一款一站式表单填 ...

读数据工程之道：设计和构建健壮的数据系统29分析

博主头像 1. 合作角色 1.1. 数据分析师 1.2. 数据科学家 1.3. MLOps/机器学习工程师 1.4. 业务侧 1.4.1. 数据或非技术的利益相关者、经理和高管 1.5. 数据工程师更多的是在支持这些利益相关者的工作，不一定对数据的最终使用方式负责 1.6. 数据工程师负责的是产出高质量的数据 ...

第三十四讲：join语句怎么优化？

第三十四讲：join语句怎么优化？ 简概： 万年不变的开头 ​ 在上一篇文章中，我和你介绍了 join 语句的两种算法，分别是 Index Nested-Loop Join(NLJ) 和 Block Nested-Loop Join(BNL)。我们发现在使用 NLJ 算法的时候，其实效果还是不错的， ...

指标+AI+BI：构建数据分析新范式丨2024袋鼠云秋季发布会回顾

博主头像 10月30日，袋鼠云成功举办了以“AI驱动，数智未来”为主题的2024年秋季发布会。大会深度探讨了如何凭借 AI 实现新的飞跃，重塑企业的经营管理方式，加速数智化进程。 作为大会的重要环节之一，袋鼠云数栈产品经理潮汐带来了题为《指标+AI+BI：构建数据分析新范式》的精彩演讲，深入剖析了当前企业在进 ...

第三十三讲：到底可不可以使用join？

第三十三讲：到底可不可以使用join？ 简概： 厌烦了平淡的开头 提出问题 ​ 在实际生产中，关于 join 语句使用的问题，一般会集中在以下两类： 我们 DBA 不让使用 join，使用 join 有什么问题呢？ 如果有两个大小不同的表做 join，应该用哪个表做驱动表呢？ 提出示例 ​ 今天这篇 ...

MySQL基础知识点串讲PART04--完结篇

博主头像 MySQL--DAY04 索引 定义 索引是在数据库表的字段上添加的，是为了提高查询效率存在的一种机制。 一张表的一个字段可以添加一个索引，当然，多个字段联合起来也可以添加索引。 索引相当于一本书的目录，是为了缩小扫描范围而存在的一种机制。 对于一本字典来说，查找某个汉字有两种方式： 第一种方式：一 ...

Spark Streaming监听HDFS文件（Spark-shell）

博主头像 需求：编写程序利用Spark Streaming 监控HDFS 目录/input目录下的文件，并对上传的文件进行词频统计。 首先，linux中需要有netcat，来实现监听功能，有的linux会自带这个软件，可以用下面的命令测试一下，如果不报错就没问题，Ctrl+z可以退出 nc -l 9999 没 ...

读数据工程之道：设计和构建健壮的数据系统27转换

博主头像 1. 转换 1.1. 转换与查询不同 1.1.1. 查询是根据过滤和连接逻辑从各种来源检索数据 1.1.2. 转换将结果持久化，供其他转换或查询使用 1.1.2.1. 结果可以被短暂地或永久地保存 1.1.3. 除了持久性，转换区别于查询的另一个特点是复杂性 1.1.3.1. 你可能会建立复杂的数据 ...

MySQL基础知识点串讲PART03

博主头像 MySQL--DAY03 一个案例 查询每一个员工的所在部门名称？要求显示员工名和部门名。 mysql> select * from emp; + + + + + + + + + | EMPNO | ENAME | JOB | MGR | HIREDATE | SAL | COMM | DEPTNO ...

MySQL基础知识点串讲PART01

博主头像 MySQL--DAY01 基本概念 数据库：英文单词DataBase，简称DB。按照一定格式存储数据的一些文件的组合。 顾名思义：存储数据的仓库，实际上就是一堆文件。这些文件中存储了具有特定格式的数据。 数据库管理系统：DataBaseManagement，简称DBMS。 数据库管理系统是专门用来管 ...

第三十二讲：我查这么多数据，会不会把数据库内存打爆？

我的服务器数据库内存还有4个G，里面有8个G的表，现在，我要让我的客户机远程连接服务器后对数据库进行一次全表扫描，请问，我的服务器会不会因为内存被8个G的表塞得溢出而崩溃？ 面试关如实问到 在我阅读这篇文章后，我会这么跟面试官说： 第一，内存不会打满，除非socket send buffer... ...

Redis数据结构：List类型全面解析

Redis数据结构——List类型全面解析：存储多个有序的字符串，列表中每个字符串成为元素 Eelement，最多可以存储 2^32-1 个元素。可对列表两端插入（push）和弹出（pop）、获取指定范围的元素列表等，常见命令。 底层数据结构：3.2版本之前，底层采用**压缩链表ZipList**... ...

读数据工程之道：设计和构建健壮的数据系统26数据建模

博主头像 1. 数据建模 1.1. 良好的数据架构必须反映出使用这些数据的组织的业务目标和业务逻辑 1.2. 数据湖1.0、NoSQL和大数据系统的兴起，使工程师们有时是为了合理的性能提升去忽略传统的数据建模 1.3. 数据在企业中的地位急剧上升，人们越来越认识到，建模对于实现数据科学需求层次金字塔中更高层次 ...

<1···434445···50>