通过结合图计算与流计算,蚂蚁图计算开源的GeaFlow引擎解决了传统流计算引擎在大数据关联关系计算中的性能瓶颈,尤其在多跳场景下性能显著优于Flink,对于实时知识图谱的构建,提供了基础技术底座。 ...
亲爱的社区小伙伴们,Apache DolphinScheduler 2025年 Meetup 讲师&议题开始征集。提升自我价值,实现自我“破圈”,这里是你最好的舞台,快来一起开启你的技术传播之旅吧! 如果你热爱Apache DolphinScheduler,对大数据调度有着深厚的兴趣,并且愿意将你关 ...
事务处理对持久统计信息自动收集的影响 1. 持久化统计信息 持久统计信息将统计信息存储到磁盘,使它们在服务器重启后保持不变,优化器更有可能在查询时做出一致的选择,从而提高执行计划的稳定性。 在innodb_stats_persistent=ON(默认值)或表定义使用 stats_persistent ...
MySQL 分库分表:数据库的"豪宅改造计划" ️ 当你的单身公寓住不下所有家具时,你会怎么做?搬到大房子或者拆分成多个小仓库!MySQL 的数据也有同样的烦恼... 什么是分库分表? 分库分表是指将原本存储在单个数据库和单张表中的数据,按照特定的规则切分到多个数据库或多个表中,以解决海量数 ...
我们的工作真的创造了价值 2025 年 3 月 2 日、3 月 21 日,经 Apache IoTDB 社区投票,马子坤、李烁麟成为 Apache IoTDB Committer。作为学生的他们,在 IoTDB 项目中都体会到自己的代码帮到了用户的欣喜,成就感伴随他们一路走到成为 Committer ...
1. 元数据来源 1.1. 元数据的来源各异 1.1.1. 大多数操作元数据是在处理数据时生成的 1.1.2. 最好是有意识地重新定义而不是简单地接受现有定义 1.2. 管理数据库所需的大部分技术元数据和使用数据所需的业务元数据,可以作为项目工作的一部分进行收集和开发 1.2.1. 应记录和整理讨论 ...
GSoC谷歌编程之夏活动火热进行中!今年,Apache DolphinScheduler项目也依然参与其中,设立了有趣且有挑战性的项目任务,与通用OIDC认证有关。欢迎有才华的你们来挑战! GSoC的起源与目的 GSoC 即 Google Summer of Code(谷歌编程之夏),是谷歌公司发起 ...
MySQL 主从复制:数据库的"克隆军团" ♂️ 如果说数据库世界也有科幻电影,那么 MySQL 的主从复制绝对堪比《星球大战》中的克隆人军队,一个原版,无数复制品,却保持着惊人的同步... 什么是主从复制? MySQL 主从复制是一种数据库技术,允许将一台 MySQL 数据库服务器(主库 ...
MySQL 查询优化:让你的 SQL 语句"减肥"指南 ️♀️ 胖乎乎的 SQL 查询就像一个不爱运动的宅男,消耗大量资源却动作缓慢...是时候给它们制定一份健身计划了! 什么是查询优化? 查询优化是指通过改写 SQL 语句和利用索引等手段,提高查询执行效率,减少资源消耗的过程。简单来说: ...
此前我们曾用万字长文解释了Apache DolphinScheduler的Worker模块源码,今天,我们再来一起看看Master模块源码的原理。 Master Slot计算 核心代码逻辑: org.apache.dolphinscheduler.server.master.registry.Mas ...
MySQL 锁机制:数据库的"交通管制系统" 在数据的高速公路上,没有红绿灯会怎样?一片混乱!MySQL 的锁机制就是数据库世界的交通规则... 什么是锁机制? 锁机制是数据库用来控制并发访问的一种方式,确保在多人同时操作数据库时不会出现数据不一致或损坏。简单来说:锁就是数据库的"禁止通行 ...
1. 业务驱动因素 1.1. 可靠且良好管理元数据有助于 1.1.1. 通过提供上下文语境和执行数据质量检查提高数据的可信度 1.1.2. 通过扩展用途增加战略信息(如主数据)的价值 1.1.3. 通过识别冗余数据和流程提高运营效率 1.1.4. 防止使用过时或不正确的数据 1.1.5. 减少数据的 ...
MySQL JOIN 操作:数据表的"联谊派对指南" 数据也有社交需求!在 MySQL 的世界里,孤独的表想要邂逅另一张表时,就需要参加一场 JOIN 派对... 什么是 JOIN 操作? JOIN 操作就是让两张或多张表建立临时关系,从而能够在一次查询中获取多个表的数据。简单来说:这是数 ...
1. 活动 1.1. 理解需求 1.1.1. 构建一个数据仓库与开发一套业务系统不同 1.1.2. 业务系统的开发取决于精确的、具体的业务需求 1.1.3. 数据仓库建设则是把数据汇集在一起,再以各种不同的方式使用这些数据 1.1.4. 要考虑业务目标和业务战略,确定业务领域并框定范围 1.1.5. ...
1. 业务驱动因素 1.1. 主要驱动力是运营支持职能、合规需求和商务智能活动 1.2. 用数据来证明他们是合规的,因为数据仓库中包含历史数据,所以经常被用来响应这类要求 1.3. 商务智能支持一直是建设数据仓库的主要原因 2. 目标 2.1. 支持商务智能活动 2.2. 赋能商业分析和高效决策 2 ...
最近一个朋友找过来说可能有个项目可以合作,项目背景是信创重构,于是摸鱼半辈子的老汉开始翻个身选择了解达梦数据库了。虽然项目还没下来,现在只是确定了整个项目的大概架构:达梦数据库+.net core6.0+vue3(内网)+微信小程序(外网)+nginx(反向代理外网访问内网)/双服务器(mq数据双向 ...
CentOS7安装MYSQL8.X详细教程 1-首先查看系统是否存在mysql,无则不返回 rpm -qa|grep mysql 2-安装wget yum -y install wget 3-抓取mariadb并删除包,无则不返回 rpm -qa|grep mariadb 4-删除mariadb-l ...
1. 查看当前总连接数 SHOW STATUS LIKE 'Threads_connected'; 返回当前建立的连接总数 2. 查看最大连接数配置 SHOW VARIABLES LIKE 'max_connections'; 显示服务器允许的最大并发连接数 3. 查看详细的连接信息 SHOW PR ...
MySQL 事务隔离级别:社交恐惧症的四个阶段 在数据库的世界里,数据们也有社交问题!事务隔离级别就是控制它们互相看到对方的程度... 什么是事务隔离? 想象一下,数据库是一个繁忙的餐厅,每个事务都是一桌客人,而数据就是美食。事务隔离级别决定了:当甲桌客人正在吃饭时,乙桌客人能看到 ...
dbops 助力 GreatSQL 单机架构安装部署 本文将深入介绍如何运用 dbops 完成 GreatSQL 单机架构的安装部署,无论是数据库新手寻求入门,还是经验丰富的技术人员追求高效操作,都能从中获取有价值的信息,助力构建坚实的数据库基础。 dbops 简介 dbops 是一套基于 Ansi ...