最近做吞吐量调试涉及到输入batch_size的设置,为了把算力和显存用起来,同时不触发out of memory,需要提前估计大模型推理过程中的显存占用,我参考了MindIE官网的这个文档完成了估计:https://www.hiascend.com/document/detail/zh/mindi ...
AI Chat [中文]|[English] AI Chat 是一个智能聊天工具,支持DeepSeek 、Gemini、Grok、OpenAI和自定义AI,使用SwiftUI、SwiftData开发,macOS原生AI客服端 开发环境 开发工具:Xcode 16.3 开发技术:SwiftUI Swi ...
背景 词根是一个关键词里面最小的组合单位,不能再被进行任何拆分的一些属性词、名词等。所有关键词都是由词根组合而来的,但有些词本身就是一个关键词。商品标题拆词词根算法是电商领域优化搜索流量、提升标题效率的核心技术。其核心逻辑是通过自然语言处理(NLP)技术将标题拆解为最小不可分割的语义单元(词根),并 ...
在上一章节中,我们讲解了MCP服务,并以Spring AI作为客户端和服务端进行示例说明。然而,当前市面上已经存在众多成熟的MCP客户端和服务端实现。那么,Spring AI在这些现有方案中的适配程度究竟如何?接下来,我们将深入探讨这一问题。 Spring AI客户端-第三方MCP MCP市场 我们 ...
最近和开发者做了很多DeepSeek-R1模型相关的推理项目,这两天抽时间把hugging face上面的源码拉下来仔细看了一遍,在这里做一个分享。主要是解析MOE部分的代码,包括EP并行的代码实现。 整体结构 查看hugging face上面的modeling_deepseek.py文件和conf ...
作者:孙鹏,大衍(北京)科技有限公司研发工程师 首先为大家推荐这个 OceanBase 开源负责人老纪的公众号 “老纪的技术唠嗑局”,会持续更新和 #数据库、#AI、#技术架构 相关的各种技术内容。欢迎感兴趣的朋友们关注! 暴论:通用满血大模型“不适合”用于赋能国产数据库智能诊断运维 在传统数据库运 ...
如果你用过 GitHub Copilot,那你对 AI 编程助手应该不陌生。而 Lingma 是阿里云推出的一款专注于编程场景的智能编码助手。 它深度集成在 VS Code、JetBrains 等主流 IDE 中,支持代码补全、注释生成、Bug 检测、逻辑解释等功能,是前端开发中非常实用的“第二双眼 ...
最近有小伙伴在使用 mvn 仓库中的 1.0.0-M6 版本时,已经遇到一些兼容性问题和未知异常。本着更好地维护 spring-ai-hunyuan 仓库,我这几天熬夜更新并整理了对 Spring AI 稳定版(即 1.0.0)的支持。 项目源码地址: https://github.com/S ...
nanoVLM 是使用纯 PyTorch 训练 你自己的视觉语言模型 (VLM) 的 最简单 方式。它是一个轻量级 工具包 ,让你可以在 免费的 Colab Notebook 上启动 VLM 训练。 我们受到了 Andrej Karpathy 的 nanoGPT 的启发,为视觉领域提供了一个类似的项 ...
有时候你可能正对着屏幕发呆,不知道怎么下手一个 Vue 的流式请求功能。这时候,DeepSeek 就像是你的“编程外挂”,帮你把模糊的需求变成清晰的代码。 下面我们就以几个常见的开发场景为例,看看 DeepSeek 能帮我们做点啥。 解答技术问题:SSE 流式请求怎么写? 假设你正在开发一个 AI ...
本文已收录在Github,关注我,紧跟本系列专栏文章,咱们下篇再续! 魔都架构师 | 全网30W技术追随者 大厂分布式系统/数据中台实战专家 主导交易系统百万级流量调优 & 车联网平台架构 AIGC应用开发先行者 | 区块链落地实践者 以技术驱动创新,我们的征途是改变世 ...
自动补全编写段落# 实习生教学编程## AI编程 在过去,实习生们需要花费大量时间和精力来完成编程任务,这不仅浪费了他们的时间,也给他们的工作带来了压力。为了解决这个问题,我们开发了一个名为“AI编程”的工具,它可以帮助实习生们更高效地完成编程任务。我们先指导实习生们编写代码,然后再使用AI编程工具 ...
背景以下是基于DeepSeek v3 0324版本实现前端HTML5转换Vue.js工程实践使用 Trae IDE编辑,之前Html是基于Readdy.ai生成,原始输入是UI设计图结论 我们基于Trae成功转换html到Vue.js工程。更多意义是:一、技术架构升级价值组件化开发范式跃迁Vue.j ...
本文已收录在Github,关注我,紧跟本系列专栏文章,咱们下篇再续! 魔都架构师 | 全网30W技术追随者 大厂分布式系统/数据中台实战专家 主导交易系统百万级流量调优 & 车联网平台架构 AIGC应用开发先行者 | 区块链落地实践者 以技术驱动创新,我们的征途是改变世 ...
你现在看到的 APP,是我完全用 AI 生成的,一行代码都没写!怎么做到的呢? 大家好,我是程序员鱼皮。AI 发展很快,现在随随便便就能生成一个网站,但是怎么纯用 AI 开发能在手机上运行的 APP 呢?网上基本上没有完整的教程。所以,我出手了,下面只用几分钟的时间,我会教大家如何利用 AI 生成 ...
本文已收录在Github,关注我,紧跟本系列专栏文章,咱们下篇再续! 魔都架构师 | 全网30W技术追随者 大厂分布式系统/数据中台实战专家 主导交易系统百万级流量调优 & 车联网平台架构 AIGC应用开发先行者 | 区块链落地实践者 以技术驱动创新,我们的征途是改变世 ...
分辨大模型的好坏是一个多维度的问题,需要从技术能力、实际效果、安全性、成本和应用适配性等多个角度综合考量。以下是一些关键的评估维度和方法: 一、核心能力维度 1、基础能力: 语言理解与生成: 流畅度、语法准确性、上下文连贯性、能否理解复杂指令和隐含信息? 知识覆盖与准确性: 知识广度(涵盖多少领域? ...
本文已收录在Github,关注我,紧跟本系列专栏文章,咱们下篇再续! 魔都架构师 | 全网30W技术追随者 大厂分布式系统/数据中台实战专家 主导交易系统百万级流量调优 & 车联网平台架构 AIGC应用开发先行者 | 区块链落地实践者 以技术驱动创新,我们的征途是改变世 ...
作为大语言模型的深度用户,我发现当前 Web 和桌面端的聊天工具体验不佳。经过长期使用,我总结了 10 个改进需求,希望能清晰表达。 1. 全局检索(Global Search) 上次那个绝妙的点子,现在只记得它很绝妙了 我跟 AI 的对话,其实就是我思考过程的延伸和记录,但现在大部分 W ...