数据库
刷新
postgresql实时同步到mysql

应客户要求，需要同步数据到他们自己的数据库用于简单的数据分析，但这部分数据在postgresql，客户又不想再建pg，想直接同步到他们现有的mysql库，实时性倒是不要求。 考虑到 1、异构数据库同步 2、只同步指定客户的行数据 有之前同步到es的经验，同样使用了腾讯oceanus，其它工具没搞定 ...

mysql实时同步到es

测试了多个方案同步，最终选择oceanu产品，底层基于Flink cdc 1、实时性能够保证，binlog量很大时也不产生延迟 2、配置SQL即可完成，操作上简单 下面示例mysql的100张分表实时同步到es，优化备注等文本字段的like查询 创建SQL作业 CREATE TABLE from_m ...

sql统计最大连续增加条数

博主头像 趋势特征是业务人员比较青睐的特征，其中涉及到连续变化期数，例如连续增大、减少期数等。这里写一下可以实现的思路。 1.使用变量 这个方法在我常用的sql平台中只有mysql支持。pgsql和hive无法实现。 在查询里声明select @var:=0,通过逻辑语句将起始位置置1，连续行处递增，和结束位 ...

1. Linux下 MySQL 的详细安装与使用

博主头像 1. Linux下 MySQL 的详细安装与使用 @目录1. Linux下 MySQL 的详细安装与使用1. Linux 下安装 MySQL8.0 的详细安装步骤：2. Linxu 当中的MySQL 设置远程登录3. 最后： 1. Linux 下安装 MySQL8.0 的详细安装步骤： 查看是否安装 ...

【GreatSQL优化器-14】直方图应用

博主头像 【GreatSQL优化器-14】直方图应用 一、直方图介绍 GreatSQL的优化器负责将SQL查询转换为尽可能高效的执行计划，但因为数据环境不断变化有可能导致优化器对查询数据了解不够充足，可能无法生成最优的执行计划进而影响查询效率，因此推出了直方图(histogram)功能来解决该问题。 直方图用 ...

一张图掌握数据存储

博主头像 数据库选型思路：数据量支持的情况下，首选关系型数据库，如果mysql，功能丰富能解决大部分问题；如果数据量级已经超过 MySQL 极限（单表300万以上就已经很慢），可以选择es或者一些列式数据库，比如：HBase、Cassandra、ClickHouse，数据量再增长也可以考虑Spark、Hive ...

DolphinScheduler环境搭建、服务启动等常见问题及解决方案

博主头像 Apache DolphinScheduler 作为一款分布式易扩展的工作流调度系统，广泛应用于大数据任务编排。然而，在实际使用中，用户可能会遇到环境搭建、服务启动、工作流执行等问题。本文结合社区文档与用户实践经验，整理以下高频问题及详细解决方案，帮助用户快速定位并解决问题。 一、安装与部署问题 环 ...

2月19日直播预告｜智能指标中枢，构建一体化数据驱动决策平台

博主头像 为了帮助企业更有效地推进数字化转型升级，袋鼠云精心策划了一系列以“数字基建+数智应用”为核心的赋能分享活动，本系列直播共有四期，每期聚焦于不同的关键议题，深入探讨企业数字化转型中面临的挑战以及可行的应对策略。 我们期待通过这些直播活动，与业界同仁深化交流，共同探讨数字化转型中的难点与痛点，并寻找切实 ...

2025年，怎么靠技术传播自我“破圈”？

博主头像 亲爱的社区小伙伴们，Apache DolphinScheduler 2025年 Meetup 讲师&议题开始征集。提升自我价值，实现自我“破圈”，这里是你最好的舞台，快来一起开启你的技术传播之旅吧！ 如果你热爱Apache DolphinScheduler，对大数据调度有着深厚的兴趣，并且愿意将你关 ...

主从复制中定位回放慢涉及的表

博主头像 主从复制中定位回放慢涉及的表 一、前提 世界千奇百怪，每个人都有自己独立的思想，有些事情即使你附耳告知，也可能如风般吹过，进而消逝，为了性能为了不延迟，表要加索引嘛，然而在某业务场景，业务表数千张，无索引的表几百张，这些表都是上百万的数据。 二、现象 在 GreatSQL 主从架构中，某天在系统资源 ...

数据库安全实战：访问控制与行级权限管理

博主头像 title: 数据库安全实战：访问控制与行级权限管理 date: 2025/2/16 updated: 2025/2/16 author: cmdragon excerpt: 在数据泄露事件频发的今天，数据库访问控制是保护企业核心资产的最后一道防线。数据库安全体系的三大核心组件——用户角色管理、权限 ...

Windows的MySQL数据库升级（安装器方式）

博主头像 1、背景描述 原来的 MySQL 在安装时，是最新的稳定版本 5.7.33 。 经过一段时间后，在原来的 MySQL 版本中，发现存在漏洞。 因为 MySQL 的官方补丁，需要 Oracle 的 si 码（Support Identifier），不是免费的。 因此，只好将旧版本（5.7.33）升级到 ...

数据库扩展之道：分区、分片与大表优化实战

博主头像 title: 数据库扩展之道：分区、分片与大表优化实战 date: 2025/2/15 updated: 2025/2/15 author: cmdragon excerpt: 随着数据量的爆炸式增长，传统单机数据库的性能和存储能力逐渐成为瓶颈。数据库扩展的核心技术——分区（Partitioning ...

<1···202122···50>