数据库
刷新
SuperSet安装

博主头像 安装Python环境 mkdir /opt/soft curl -O https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh 回车之后，一 ...

读数据工程之道：设计和构建健壮的数据系统13无服务器

博主头像 1. 无服务器 1.1. 云供应商的一个大趋势是无服务器，允许开发人员和数据工程师无须在后台管理服务器即可运行应用程序 1.1.1. 无服务器快速将价值投入到其正确的用例 1.2. 无服务器真正开始流行是在2014年AWS Lambda全面投入使用之后 1.2.1. 由于无须管理服务器，只需在无服务 ...

PostgreSQL流复制主从切换

博主头像 0，前提 确保PostgreSQL主从流复制是正常状态 1，从节点执行promote提升为主节点： 1.1 ###修改原从节点的pg_hba.conf，设置复制用户的IP为主节点 host replication replica_user 原始主节点IP/32 md5 1.2 ###原从节点上创建s ...

TB 级数据入库无压力：Apache DolphinScheduler 助力 ClickHouse 优化

博主头像 引言 如今，随着大数据、物联网、人工智能等技术的快速发展，数据量呈现指数级增长。企业迫切需要一个既能快速处理大规模数据，又能保障性能稳定的数据库系统。ClickHouse 在数据分析与查询性能方面表现优异，但随着数据规模不断增长，其在数据写入与合并阶段的瓶颈也日渐凸显。 不少企业尝试通过简单的 ...

SQL Server存储过程的优缺点

博主头像 SQL Server存储过程(Stored Procedure)是一组为了完成特定功能的SQL语句集合，经编译后存储在数据库中。存储过程可以接收参数、执行相关SQL后返回结果。用户通过指定存储过程的名字并给出参数(带参存储过程)来执行它。以下是使用SQL Server存储过程的一些利弊，仅供参考： ...

Redis 万字入门教程

博主头像 0. 前言 文章已经收录到 GitHub 个人博客项目，欢迎 Star： https://github.com/chenyl8848/chenyl8848.github.io 或者访问网站，进行在线浏览： https://chenyl8848.github.io/ 1. NoSQL 1.1 NoSQ ...

码城|计算机专业的00后转行数据分析，还有机会吗？【悟空非空也】

博主头像 计算机背景学习数据分析是有优势的。数据分析需要一些技术基础，简单点的话，需要会使用 Excel ，复杂点会用 Python 进行数据挖掘和数据分析 ，当然SQL语句一定要会，自己多练习。如果再懂点深度学习，那就更加厉害啦。 有计算机底子，学习 Python 新语言应该也没有什么问题，Python的学 ...

PostgreSQL慢查询SQL收集和解析

博主头像 postgresql通过log_statement参数记录慢SQL语句 PostgreSQL可以不借助任何扩展实现对SQL日志的记录，主要依赖于两个参数，也即log_statement和log_min_duration_statement， 1，记录的sql类型log_statement='all' ...

一文彻底弄懂mysql的事务日志，undo log 和 redo log

博主头像 在数据库事务管理中，Undo Log 和 Redo Log 是两种关键日志，用于保障事务的 原子性 和 持久性。它们的作用是确保数据库在出现崩溃、断电、宕机等故障时，能够进行恢复操作，从而保障数据一致性和完整性。它们通常用于支持事务的 ACID 特性中的 原子性 和 持久性。下面将分别介绍 Undo ...

白鲸开源 WhaleStudio 入选「OSCAR 开源尖峰商业化」案例

博主头像 2024年10月16日，由中国通信标准化协会主办、中国信息通信研究院承办的“2024 OSCAR开源产业大会”在北京成功举办。工业和信息化部信息技术发展司软件产业处处长李琰、中国信息通信研究院党委副书记王晓丽、中国通信标准化协会副理事长兼秘书长代晓慧出席并发表致辞。人民日报出版社副社长赵军、中国电力 ...

七牛云存储数据，删除无用数据

博主头像 最近公司有一个业务，由于多年使用七牛云存储数据【一些图片，文件】，导致占用了好几个T的空间， 其实有好几年之前的大量数据是现在不再使用的， 于是需要删除这批数据。 需要注意的是好几年之前的数据和现在的业务生成的数据都是用的一个储存空间， 想要删除就必须要根据时间来进行筛选， 例如2022年之前的数据 ...

读数据工程之道：设计和构建健壮的数据系统11云经济学

博主头像 1. 部署位置 1.1. 当公司在决择在何处搭建技术栈时会有数不清的选择 1.1.1. 除非有令人信服的理由，否则不要选择复杂的多云或混合云策略 1.2. 本地 1.2.1. 当越来越多的初创公司在云技术下诞生，本地系统仍是默认的公司创立地 1.2.2. 公司也需要管理软件系统每几年的升级换代 1. ...

PostgreSQL AutoVacuum 相关参数

博主头像 1.###自动vacuum开关 autovacuum = on; 默认打开 2.###autovacuum运行频率 autovacuum_naptime = 60s; 默认1分钟 3.###autovacuum工作线程数 autovacuum_max_workers = 3；默认三个线程 4.### ...

MySQL 通过 Next-Key Locking 技术（行锁+间隙锁）避免幻读问题

博主头像 在MySQL中，InnoDB引擎通过Next-Key Locking技术来解决幻读问题。幻读是一种事务并发问题，通常出现在Repeatable Read隔离级别下的范围查询操作中。幻读的现象是，事务在查询时多次执行相同的范围查询，但由于其他事务的插入或删除操作导致结果不一致，出现“幻觉”一样的记录。 ...

GreatSQL 在SQL中使用 HINT 语法修改会话变量

博主头像 GreatSQL 在SQL中使用 HINT 语法修改会话变量 在 GreatSQL 支持一种新的优化Hint，名字叫SET_VAR，这个特性支持用户在查询语句里修改 GreatSQL 数据库的一些会话变量，当然修改只是对当前查询会话生效，不会影响到其他会话。 SET_VAR语法 SET_VAR这个h ...

<1···202122···50>