SensorFlow 采集层技术解析：事件模型、传输与 ID 打通
沿 SensorFlow 公开源码检查事件语义、SDK 传输载荷、Redis 缓存、批量写入与身份字段，说明幂等和 ID 打通需要分别验收的边界。 ...
SQL exists子查询优化注意事项，关联字段缺失索引隐患
exists性能优势前提：子查询的关联条件字段必须建立索引；没有索引exists和in一样会发生全表扫描；上线复杂exists查询务必使用explain确认子表访问类型，避免性能隐患。场景：查询有下单记录的用户，子查询order表uid没有索引，exists查询耗时很高，增加索引后性能大幅提升。核心 ...
读数据架构知识体系指南21技术(下)
1. Hadoop 1.1. Hadoop是一个开源框架，由Apache基金会于2005年创建 1.2. 旨在利用分布式计算的力量 1.3. 各种工具和库扩展了Hadoop的功能，使其成为处理大量数据并寻求具有成本效益的可扩展性组织的流行选择 1.4. Hadoop分布式文件系统(HDFS)能够通过 ...
自动数据库索引压缩合并
自动数据库索引压缩合并 一直以来，我们都习惯在 SQL Server数据库实例中部署一项固定任务：夜间或每周执行一次索引维护作业。我们先检查索引碎片率，碎片率介于5%～30%时执行索引重组（REORGANIZE），高于30%则执行索引重建（REBUILD），并且寄希望于该作业能够在业务日开始前执行完 ...
读数据架构知识体系指南20技术(上)
1. 技术 1.1. 关键决策是选择开源解决方案，还是云服务提供商的产品 1.2. 重要的软件框架：Hadoop、Databricks和Snowflake 1.3. 记住数据技术的世界并不是非黑即白 2. 开源解决方案 2.1. 开源软件指的是免费发布且其源代码开放，任何人都可以查看、修改和分发的程 ...
读数据架构知识体系指南19人员和流程(下)
1. 项目失败的原因 1.1. 让高管认为BI很容易 1.1.1. 一些高管有非常不切实际的想法 1.1.2. 经常迫使项目经理采用不切实际的时间表和关键点，这会导致项目失败 1.1.3. 必须培训高管 1.1.3.1. 帮助他们理解流程，正确构建和测试解决方案所需的时 1.2. 使用错误的技术 1 ...
读数据架构知识体系指南18人员和流程(上)
1. 人员和流程 1.1. 在数据架构的复杂世界中，虽然技术和工具可能成为焦点，但人员和流程构成了其核心和灵魂 1.2. 数据架构的革新不仅需要技术重组，还需要组织文化的深刻转变 1.3. 改变数据的管理、处理和评估方式意味着重新调整团队对数据的认识和交互方式 1.3.1. 意味着要挑战既定规范并接 ...
读数据架构知识体系指南17数据网格(下)
1. 数据域 1.1. 设计面向领域架构的过程被称为领域驱动设计(DDD)，是一个非常困难和耗时的过程 1.2. 分析数据应由与之关系最密切的业务领域拥有，领域分为数据源或主要消费者 1.3. 面向源领域的数据 1.3.1. 是与数据来源的业务源头密切对应的分析数据 1.3.2. 数据从源应用程序的 ...
[20261001]oracle Semaphore Arrays Key值的计算.txt
[20261001]oracle Semaphore Arrays Key值的计算.txt--//尝试计算ipcs -s输出的Semaphore Arrays Key值的计算。1.问题提出：--//关闭数据库重新启动：--//修改/etc/sudoers建立加入如下：# grep oracle /e ...
读数据架构知识体系指南16数据网格(上)
1. 数据网格 1.1. Zhamak Dehghani创造了数据网格(data mesh)一词 1.1.1. 数据网格是一个概念，而不是一种技术 1.1.2. 关系到公司内部组织和文化的转变 1.1.3. 自从2019年被首次引入以来，数据网格就吸引了很多注意 1.2. 数据网格是去中心化数据结构 ...
MySQL 间隙锁 (Gap Lock) 与 Next-Key Lock 导致的线上死锁分析实战
本文深入剖析 MySQL InnoDB 引擎在 RR 隔离级别下，非唯一索引引发的 Gap Lock 与 Next-Key Lock 锁冲突导致的线上死锁问题。结合 SHOW ENGINE INNODB STATUS 死锁日志，手把手还原并发场景下的锁升级链路，并给出从数据库隔离级别调整到 Jav... ...
读数据架构知识体系指南15数据湖仓
1. 数据湖仓 1.1. 数据湖仓是数据湖和数据仓库概念的调和物 1.1.1. 仅使用数据湖保存数据，而不是使用一个独立的关系数据仓库 1.1.2. 数据湖需要更多功能来取代RDW的功能 1.1.2.1. Databricks的Delta Lake发挥作用的地方 1.1.3. 几年前，从架构中省略R ...
读数据架构知识体系指南14数据编织
1. 数据编织 1.1. 数据编织是现代数据仓库构架(MDW)的进化 1.1.1. 构建在MDW上的更高级层，其提高了数据的可访问性、安全性、可发现性和可用性 1.2. 数据编织贯穿整个公司，累积了所有数据，将其提供给所有需要的人 1.3. 无论数据的大小、速度或类型如何，这种架构都能使用数据 1. ...
读数据架构知识体系指南13现代数据仓库
1. 现代数据仓库 1.1. 每天，各个组织都必须梳理海量数据，以获取深刻见解、做出决策并推动业务增长 1.2. 融合了关系数据仓库的结构化优势和数据湖的灵活性优势 1.3. 处于我们快速发展的数据生态系统的核心位置，使各组织能够利用所需信息来实现创新并参与竞争 1.4. 数据不仅仅是数字，更是通往 ...
向量数据库选型与踩坑实录：Milvus vs Qdrant vs pgvector 生产横评
本文针对千万级企业 RAG 知识库场景，从写入吞吐、HNSW 索引构建、内存占用、标量过滤及运维复杂度等维度，深度横评 Milvus、Qdrant 与 pgvector，并提供 Spring Boot 3.x 实战集成方案与生产避坑指南。 ...
开源埋点分析系统能否上线？先做演示、接收、入库三层验收
开源埋点分析系统的部署不等于真实事件已入库。用 SensorFlow 的演示、许可证激活、神策 SDK 测试事件和 ClickHouse SQL，逐层验收数据链路与看板口径。 ...
读数据架构知识体系指南12数据导入方法
1. 数据采集策略 1.1. 选择合适的数据采集策略是一项重大的业务决策，它在一定程度上决定了企业用其数据进行业务决策和运营的水平 1.2. 风险很高：错误的策略可能会导致数据质量差、性能问题、成本增加，甚至违反监管合规性 1.3. 要谨慎考虑数据采集方法，不仅是技术必需，也是业务必需 2. ETL ...
读数据架构知识体系指南11数据建模方法(下)
1. Kimball模型 1.1. 更适合数据需求较简单的组织 1.2. Kimball的自底向上方法 1.2.1. 都是先将原始数据从每个OLTP源系统提取到临时关系暂存表中，不进行转换或清理 1.2.2. 数据集市通过DW总线（有时也称为信息总线）进行整合，以实现数据一致性 1.2.3. 为了在 ...
ClickHouse 漏斗 SQL 实测：毫秒事件、窗口边界与真实埋点表
用可运行的合成事件和 SensorFlow 真实事件表，验证 ClickHouse windowFunnel 的毫秒时间、严格递增、窗口边界和漏斗口径。 ...
为什么所有数据库都在用B树？5分钟让你豁然开朗
为什么数据库的索引几乎都是 B 树 在一张 1000 万行的表里按主键查一条记录，MySQL 通常在几毫秒内返回。我一开始以为这中间有什么取巧的缓存，后来才知道并没有：它只是没有傻到去扫全表，而是走了一条索引，而那条索引十有八九是一棵 B 树。 MySQL、PostgreSQL、SQLite、Mon ...
