AI
刷新
大模型推理显存和计算量估计方法

最近做吞吐量调试涉及到输入batch_size的设置,为了把算力和显存用起来,同时不触发out of memory,需要提前估计大模型推理过程中的显存占用,我参考了MindIE官网的这个文档完成了估计:https://www.hiascend.com/document/detail/zh/mindi ...

电商行业商品标题分词实践

博主头像 背景 词根是一个关键词里面最小的组合单位,不能再被进行任何拆分的一些属性词、名词等。所有关键词都是由词根组合而来的,但有些词本身就是一个关键词。商品标题拆词词根算法是电商领域优化搜索流量、提升标题效率的核心技术。其核心逻辑是通过自然语言处理(NLP)技术将标题拆解为最小不可分割的语义单元(词根),并 ...

【附源码】用Spring AI通杀所有MCP客户端,简直离谱!

博主头像 在上一章节中,我们讲解了MCP服务,并以Spring AI作为客户端和服务端进行示例说明。然而,当前市面上已经存在众多成熟的MCP客户端和服务端实现。那么,Spring AI在这些现有方案中的适配程度究竟如何?接下来,我们将深入探讨这一问题。 Spring AI客户端-第三方MCP MCP市场 我们 ...

DeepSeek-R1源码解读

最近和开发者做了很多DeepSeek-R1模型相关的推理项目,这两天抽时间把hugging face上面的源码拉下来仔细看了一遍,在这里做一个分享。主要是解析MOE部分的代码,包括EP并行的代码实现。 整体结构 查看hugging face上面的modeling_deepseek.py文件和conf ...

大模型VS小模型:论国产数据库运维AI Agent的正确打开方式

博主头像 作者:孙鹏,大衍(北京)科技有限公司研发工程师 首先为大家推荐这个 OceanBase 开源负责人老纪的公众号 “老纪的技术唠嗑局”,会持续更新和 #数据库、#AI、#技术架构 相关的各种技术内容。欢迎感兴趣的朋友们关注! 暴论:通用满血大模型“不适合”用于赋能国产数据库智能诊断运维 在传统数据库运 ...

【前端AI实践】DeepSeek:开源大模型的使用让开发过程不再抓头发

博主头像 有时候你可能正对着屏幕发呆,不知道怎么下手一个 Vue 的流式请求功能。这时候,DeepSeek 就像是你的“编程外挂”,帮你把模糊的需求变成清晰的代码。 下面我们就以几个常见的开发场景为例,看看 DeepSeek 能帮我们做点啥。 解答技术问题:SSE 流式请求怎么写? 假设你正在开发一个 AI ...

基于Trae编写文章实践

博主头像 自动补全编写段落# 实习生教学编程## AI编程 在过去,实习生们需要花费大量时间和精力来完成编程任务,这不仅浪费了他们的时间,也给他们的工作带来了压力。为了解决这个问题,我们开发了一个名为“AI编程”的工具,它可以帮助实习生们更高效地完成编程任务。我们先指导实习生们编写代码,然后再使用AI编程工具 ...

基于DeepSeek V3实现前端HTML5转换Vue.js工程实践

博主头像 背景以下是基于DeepSeek v3 0324版本实现前端HTML5转换Vue.js工程实践使用 Trae IDE编辑,之前Html是基于Readdy.ai生成,原始输入是UI设计图结论 我们基于Trae成功转换html到Vue.js工程。更多意义是:一、技术架构升级价值组件化开发范式跃迁Vue.j ...

解决 Maven os.detected.classifier 报错:快速修复指南

博主头像 本文已收录在Github,关注我,紧跟本系列专栏文章,咱们下篇再续! 魔都架构师 | 全网30W技术追随者 大厂分布式系统/数据中台实战专家 主导交易系统百万级流量调优 & 车联网平台架构 AIGC应用开发先行者 | 区块链落地实践者 以技术驱动创新,我们的征途是改变世 ...

不写代码,让 AI 生成手机 APP!保姆级教程

博主头像 你现在看到的 APP,是我完全用 AI 生成的,一行代码都没写!怎么做到的呢? 大家好,我是程序员鱼皮。AI 发展很快,现在随随便便就能生成一个网站,但是怎么纯用 AI 开发能在手机上运行的 APP 呢?网上基本上没有完整的教程。所以,我出手了,下面只用几分钟的时间,我会教大家如何利用 AI 生成 ...

如何分辨大模型的好坏?

博主头像 分辨大模型的好坏是一个多维度的问题,需要从技术能力、实际效果、安全性、成本和应用适配性等多个角度综合考量。以下是一些关键的评估维度和方法: 一、核心能力维度 1、基础能力: 语言理解与生成: 流畅度、语法准确性、上下文连贯性、能否理解复杂指令和隐含信息? 知识覆盖与准确性: 知识广度(涵盖多少领域? ...

AI 聊天应用的 10 条高级需求

博主头像 作为大语言模型的深度用户,我发现当前 Web 和桌面端的聊天工具体验不佳。经过长期使用,我总结了 10 个改进需求,希望能清晰表达。 1. 全局检索(Global Search) 上次那个绝妙的点子,现在只记得它很绝妙了 我跟 AI 的对话,其实就是我思考过程的延伸和记录,但现在大部分 W ...

<123···50>