开源作为一种开放共享的新型生产模式,已成为数字经济创新、开放、共享和可持续发展的核心驱动力。由中国通信标准化协会牵头主办,中国信息通信研究院具体承办的 2025 OSCAR 开源产业大会将于 10 月 28 日在北京中关村国家自主创新示范区会议中心举行。 大会现场设置开源集市,以面向参会者系统展示优 ...
一句话概念 索引(Index) 就像是数据库里的“目录”或“书的索引页”。 它的主要作用是: 加快查询速度,减少数据库扫描整张表的次数。 举个简单的例子 假设你有一个商品表 products,里面有几万条记录。 如果你执行下面的查询: SELECT * FROM products WHERE ...
为了简化技术栈,以及解决现有数据库使用痛点,奇富科技数据库团队在2024年引入OceanBase替代部分MySQL与TiDB,实现了代码改造成本、存储与硬件成本的大幅缩减,以及性能、稳定性、扩展性等多方面的技术升级。本文分享奇富科技在多个场景的数据库痛点,以及OceanBase落地实践。 ...
EC编码能够对部分缺失的数据进行数据恢复,广泛应用于存储与通信领域。vivo目前HDFS集群节点达万台级别,数据规模接近EB级别,并且业务数据规模还在以较高速度持续增长中。在推进压缩算法缓解存储压力的同时,EC编码的推进是存储降本的一大有力手段。 ...
[20251014]建立完善通用的prx.sql脚本.txt--//前几天更改了tpt的prr.sql,想实现一个更加通用pr.sql的版本。自己做一些尝试:--//参数1支持2种格式,第1种格式使用数字序列使用,分开,输出对应字段。第2种格式使用正则表达式输出对应字段.--//参数2支持参数2|n ...
最近有个需要求,需要在SqlServer中锁定一张表后,然后搞一些事情,完成后解锁。如何锁定一张表,在MySQL和PostgreSQL中都比较好处理。有专用的语法来实现,在SqlServer中并没有对于“直接锁定一张表的语法”,如何来处理? 变通一下也比较简单,甚至比MySQL和postgresql ...
物联网工业数据管理场景中,尽管时序数据占主要部分,但企业往往需要实现跨维度关联分析,多源异构数据的关联融合管理对数据库提出了更高要求。 国产原生时序数据库 IoTDB 通过 JDBC 接口与数据库管理工具 DataGrip 集成,用户可直接通过 SQL 实现跨系统、多模态数据分析,为智能制造提供了全 ...
在之前的文章中,我们介绍了如何使用索引生命周期策略来管理索引。如果要求索引根据其生命周期阶段自动在不同的节点之间迁移,还需要用到冷热架构。我们来看看具体如何实现。 冷热架构 冷热架构其实就是在 Easyearch 集群中定义不同属性的节点,这些节点共同组成冷热架构。比如给所有热节点一个 hot 属性 ...
9 月 24 日,“保障数据永不丢失!数据管理实战:分区、同步与备份”直播中,天谋科技时序数据库内核研发工程师,IoTDB 项目交付负责人曹志佳围绕 IoTDB 分区同步和备份相关原理及实践展开,为大家介绍了数据分区对时序数据库的重要性、IoTDB 的分区机制和同步方式,以及流处理框架的应用场景。 ...
本文详细介绍Apache Flink的批处理与流处理执行模式,包括Execution Mode的概念、配置方法、实现原理以及最佳实践。 ...
简介 向量数据库已成为存储和索引非结构化与结构化数据表征的首选工具。这些表征被称为向量嵌入(vector embeddings),由嵌入模型生成。向量存储在使用深度学习模型(尤其是大语言模型)开发应用时发挥着关键作用。什么是向量数据库?在现实世界中,并非所有数据都能整齐地归入行列之中。处理图像、视频 ...
[20251010]建立完善tpt的prr.sql脚本.txt--//昨天在测试时不小心输入pr命令时多输入一个r,没想到居然执行了,说明在本目录或者SQLPATH环境目录下存在prr.sql脚本。--//当时忙着处理其他事情,先把这件事情放一放,今天上班优先做一个探究。1.环境:SCOTT@boo ...
PostgreSQL pg_auto_failover 高可用 1:pg_auto_failover集群搭建 PostgreSQL pg_auto_failover 高可用 2:pg_auto_failover集群运维 鉴于官方https://pg-auto-failover.readthedocs ...
近日,天翼云数据传输服务软件(DTS)依据《数据库迁移工具能力要求》,结合天翼云TeleDB数据库产品,顺利通过中国信息通信研究院(简称“中国信通院”)“可信数据库”数据库迁移工具专项测试。测试结果表明,天翼云数据传输服务软件(DTS)在数据库迁移工具功能完备性、易用性、通用性等方面均符合标准要求。 ...
PostgreSQL pg_auto_failover 高可用 1:pg_auto_failover集群搭建 PostgreSQL pg_auto_failover 高可用 2:pg_auto_failover集群运维 0,pg_auto_failover架构 开始之前,先看一下pg_auto_fa ...
1、Mysql主从配置 MySQL的主备(主从)配置是一种常见的数据高可用性和数据备份方案,主要用于实现数据的实时复制,确保数据的一致性和系统的容错能力。下面我将详细介绍如何配置MySQL的主备环境。 1.1、 环境准备 确保你的服务器上已经安装了MySQL,并且至少有两台服务器,一台作为主服务器( ...
背景问题 前阵子,社区有小伙伴在使用 Easysearch 的数据压缩功能时发现,在开启 source_reuse 和 ZSTD 后,一个字段的内容看不到了。 索引的设置如下: { ...... "settings": { "index": { "codec": "ZSTD", "source_re ...
上一篇我们通过 极限网关(INFINI Gateway) 进行了索引数据迁移,对索引迁移结果进行了初步且直观的校验,既对比索引的文档数是否一致。今天介绍个实实在在的数据比对方法,通过网关对比索引文档的内容在两个集群是否一致,此方法适用于 Elasticsearch、Easysearch、Opense ...
有这样一个问题:主机内存只有100G,现在要对一个200G的大表做全表扫描,会不会把数据库主机的内存用完?想想逻辑备份,也是整库扫描,因此对大表做全表扫描看起来是没有问题的,那么这个流程到底是怎样呢? 全表扫描对server层的影响 假设现在要对一个200G的InnoDB表db1.t执行全表扫描,若 ...
oracle_19c_ru_ojvm_upgrade.sh脚本的初始版本来源于IT邦德的分享,使用原脚本时发现有一些bug,在我的环境中脚本根本跑不通,于是个人在这个脚本的基础上进行了大量的改进与优化,到当前版本可以说算是完全重构了。我用这个脚本进行了大量的测试验证(测试环境和UAT环境Oracle ...