LLM | 投机解码：加速原理与实验结果

博主头像 背景： 我们自部署了开源大模型 GLM-5.2（FP8 版，zai-org/GLM-5.2-FP8，BF16 原版 zai-org/GLM-5.2），发现请求量上来之后，生成的速度成了瓶颈，因此希望可以通过投机解码提升模型吞吐。 GLM-5.2 自带一个 MTP 层，从而可以直接开投机解码，不用另找 ...

在 .NET 中优雅地合并并发请求（v2）

博主头像 目录前言简介请求如何合并：机会式合并安装与 DI 注册适用场景不适用场景API 概览无返回值 API带返回值 API无返回值批处理带返回值批处理显式批量提交单次提交与显式批量提交请求处理流程调度流程配置Partition 数量与并发数用利特尔法则（Little’s Law）估算 MaxConcurr ...

李超树学习笔记

博主头像 引言 哇，好怀念呀~两周前才写了斜率优化的笔记，现在就可以爆切李超树了（笑）上次斜率优化的笔记总感觉没写好，我将磕头道歉并会努力将这次的笔记写得更加简单易懂！ 虽说是引言吧，但是也要写一点有用的东西的！（确信）是不是斜率优化有一个小小的缺点，就是当 \(k\) 和 \(b\) 的单调性都不确定的时候 ...

用 Pydantic AI 从零搭建一个能干活的 AI Agent

博主头像 很多人第一次写 AI Agent，写完都有点失望。 代码确实能跑，模型也确实在说话，但往下走两步就露馅了： 返回的是一段字符串，你得自己 json.loads()，还得写一堆兜底防止它今天返回 JSON、明天返回 Markdown； 想让它查你自己的数据，就得手写一个 prompt 解释"我有个函数 ...

Oracle 与 MySQL 索引重建及表健康性检测

博主头像 一、概念定义 索引重建（Index Rebuild）：指重新构造索引的物理存储结构——读取索引/表数据、重新排序并生成一棵全新的 B-tree 段，完成后用新段替换旧段。它不同于"索引分析（统计信息收集）"：前者重建物理结构，后者只更新优化器使用的统计信息。 表健康性检测：指对表的物理完整性、空间利 ...

MQTT实战 - MQTT vs HTTP：为什么你的物联网项目上线就崩？（二）

博主头像 本文从.NET物联网后端视角，剖析HTTP与MQTT在真实生产环境中的表现差异。指出：原型阶段用HTTP虽便捷，但面对海量设备、弱网环境、电池供电等场景时，因短连接开销大、无法主动推送、重试风暴等问题，极易导致服务器崩溃、电量耗尽。而MQTT凭借长连接、发布/订阅模型、QoS机制与低报文开销，能有效... ...

从数组到智能：Python数据科学与人工智能生态全景

引言：一个生态的诞生 1995年，当Guido van Rossum发布Python 1.2时，大概没有人能预料到这门以“简洁”为信条的脚本语言，会在三十年后成为全球数据科学与人工智能领域的主导语言。这一地位的奠定并非偶然——Python本身的计算性能并不出众，但它凭借极低的语法门槛、出色的胶水语言 ...

为什么越来越多人用Quarkus？

博主头像 前言 前段时间有位球友说他们内部在做Java技术栈的“瘦身”评估，让我帮忙看看几个候选框架。 我问他为什么要做这件事，他给我算了一笔账。 他们公司跑着两百多个Spring Boot服务，每个服务平均占用512MB内存，按K8s节点规格折算下来，光是JVM堆内存的闲置浪费，一年就要多花几十万。 更别提 ...

从 Skills 到可靠的 Bugfix Agent

博主头像 一次 Bug 修复看似可能只是 “改几行代码”，实际上一般会横跨禅道、语雀文档、Git 分支、异常代码定位、独立 CodeReview、GitLab MR、GitLab CI 和 OMP 部署环境等系统的多个动作。其中任何一个环节单纯依靠口口相传的约定，都会让整个流程链路容易出现断裂。 Bugfi... ...

TTL 是什么

博主头像 TTL 是 IP 包里的一个计数字段，全称 Time To Live。它的作用是防止数据包在网络里无限循环。 核心机制 TTL 是一个 8 位字段，理论范围 0-255。每经过一个路由器（一跳），TTL 就减 1。当 TTL 减到 0 时，路由器丢弃这个包，并向源地址发回一个 ICMP "Time ...

从 AWS 到 OpenRouter，拆解 Agent 模型路由的工程设计

博主头像 Agent 开始同时使用多个模型后，我们需要解决这样一个问题：这一轮到底该用哪个模型？ 当然，最省事的做法，是所有任务都交给能力最强的模型。但省事，不省钱。反过来，如果所有任务都交给更便宜的模型，看似省钱，却未必真的省。简单任务通常可以顺利完成，但一旦进入复杂分析、任务规划或者失败后的重新处理，模型 ...

Langchain简单快速上手教程（七）—— 核心组件之消息

博主头像 本文介绍 LangChain 消息组件的核心能力。首先解析 LLM 与 LangChain 的消息结构及 BaseMessage 基类；随后讲解如何通过内存缓存实现多轮对话；最后深入探讨历史消息的管理，包括基于 Token 或消息数的裁剪、按类型与 ID 的过滤，以及连续同类型消息的合并，帮助读者系... ...

123···100>