乘风的人 - 大模型应用
type: channel
link: https://blog.zhangbiechen.cn/index.php/tag/大模型应用/
items: 冻冻智能数据分析助手
items: 冻冻网络智能客服系统
items: Mac MLX 实战微调 Qwen3\-4B\-Instruct 客服模型完整教程
items: LlamaIndex 实战学习文档
items: LangChain - prompt_template(多消息模板).py
items: LangChain -提示词模版.py
items: LangChain - 聊天模型调用.py(阿里云百炼、智谱、百度千帆)
items: 国内知名大模型及其API调用平台的官方网址汇总
items: vLLm运行模型显存不够的问题
items: Hugging Face下载vLLm使用的模型

冻冻智能数据分析助手
type: item
date: 2026-06-05T17:28:00+08:00
description: 🧊 冻冻智能数据分析助手基于 LangChain + LM Studio 的 语义层 NL2SQL 数据分析系统，支持用自然语言查询业务数据，自动生成 SQL、可视化图表和分析结论。git地址https://github.com/zxliucn/Datas_Agent目录项目概述技术架构项目结构核心模块4.1 主入口 (app.py)4.2 意图解析 (core/intent_parser.py)4.3 SQL 构建 (core/sql_builder.py)4.4 SQL 执行 (core/sql_executor.py)4.5 图表生成 (core/chart_generator.py)4.6 洞察生成 (core/insight_generator.py)查询模板系统 (templates)Web 界面 (web)工具模块 (utils)配置说明数据库表结构快速开始API 接口项目预览1. 项目概述冻冻智能数据分析助手是一个基于语义层 NL2SQL 架构的数据分析系统，采用 预定义模板 + LLM 意图解析 的安全方案，避免 LLM 直接生成 SQL 带来的安全风险。核心特性功能说明🔍 自然语言查询输入自然语言问题，自动解析意图并生成 SQL📊 可视化图表根据查询类型自动选择折线图、柱状图、饼图等💡 智能洞察从查询结果中提取关键结论和业务建议🔒 安全可控预定义 SQL 模板，LLM 仅负责意图解析，不直接生成 SQL🌐 Web 界面基于 Gradio 的可视化交互界面支持的查询类型查询类型示例问题商品销量虾滑卖了多少？上个月牛筋的销售额商品排行这个月哪个商品卖得最好？销量前10订单趋势最近7天的订单趋势订单列表待发货的订单有哪些？客户排行哪个客户花钱最多？库存预警库存不足的商品售后排行退款最多的商品经营概况本月经营情况2. 技术架构┌─────────────────────────────────────────────────────────┐ │ Gradio Web UI │ │ 输入自然语言问题 → 展示图表和洞察结论 │ └──────────────────────┬──────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────┐ │ NL2SQL 主控制器 │ │ 意图解析 → SQL 构建 → 执行 → 可视化 │ └──────────────────────┬──────────────────────────────────┘ │ ┌──────────────┼──────────────┐ ▼ ▼ ▼ ┌──────────────┐ ┌────────────┐ ┌──────────────┐ │ IntentParser │ │ SQLBuilder │ │ SQLExecutor │ │ LLM 意图解析 │ │ 模板拼装 │ │ MySQL 查询 │ └──────────────┘ └────────────┘ └──────────────┘ │ ┌──────────────┼──────────────┐ ▼ ▼ ▼ ┌──────────────┐ ┌────────────┐ ┌──────────────┐ │ChartGenerator│ │ InsightGen │ │ QueryTemplates│ │ 图表可视化 │ │ 洞察分析 │ │ SQL 模板库 │ └──────────────┘ └────────────┘ └──────────────┘设计思路采用 语义层 NL2SQL 方案，而非让 LLM 直接生成 SQL：LLM 只做意图解析：理解用户自然语言，输出结构化的 {intent, params} JSONSQL 由模板拼装：每种查询类型对应预定义的 SQL 模板，安全可控参数映射处理：通过 param_mapping 将自然语言参数（如"上个月"）转换为 SQL 条件优势：✅ 安全：杜绝 SQL 注入风险✅ 可控：SQL 逻辑可审查、可维护✅ 稳定：不依赖 LLM 生成正确 SQL 的能力✅ 可扩展：新增查询类型只需添加模板3. 项目结构Datas_agent/ ├── app.py # 主入口，启动服务 ├── config.py # 配置文件（数据库、LLM） ├── .env # 环境变量 ├── requirements.txt # 依赖清单 │ ├── core/ # 核心业务模块 │ ├── __init__.py │ ├── intent_parser.py # LLM 意图解析 │ ├── sql…

冻冻网络智能客服系统
type: item
date: 2026-06-01T10:40:00+08:00
description: 冻冻网络智能客服系统基于 LangGraph + Ollama 的企业级智能客服系统，支持商品查询、订单查询、售后进度查询、烹饪指南等功能。git地址https://github.com/zxliucn/Customer_Services目录项目概述技术架构项目结构核心模块4.1 入口文件4.2 Agent 图结构4.3 状态管理4.4 LLM 配置工具模块 (tools)5.1 商品工具5.2 订单工具5.3 售后工具5.4 信息提取器5.5 用户与会话Agent 节点 (agent/node)6.1 意图识别6.2 路由6.3 工具调用6.4 RAG 检索6.5 回答生成6.6 直接回答6.7 帮助信息6.8 转人工RAG 系统配置说明数据库表结构快速开始项目预览API 接口1. 项目概述冻冻网络智能客服是一个基于 LangGraph 构建的企业级对话系统，采用多节点协作架构，支持：功能说明📦 商品查询价格、规格、库存🚚 订单查询订单状态、物流进度💰 售后进度退款/退货/换货进度🍳 烹饪指南食材做法食谱👨‍💼 转人工投诉等复杂问题转人工核心特性：🎯 意图识别 + 规则匹配混合决策🔧 工具调用：订单/商品/售后数据库查询📚 RAG 检索：用户手册 + 烹饪指南💾 多轮对话记忆 (MemorySaver)🏷️ 游客/登录用户区分2. 技术架构┌─────────────────────────────────────────────────────────────┐ │ FastAPI 入口 │ │ /chat, /health │ └─────────────────────────┬───────────────────────────────────┘ │ ┌─────────────────────────▼───────────────────────────────────┐ │ LangGraph Agent │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │ │ Intent │───▶│ Router │───▶│ Nodes │ │ │ │ 意图识别 │ │ 路由 │ │ 执行 │ │ │ └──────────┘ └──────────┘ └──────────┘ │ │ │ │ │ ┌─────────┬─────────┬─────────┬──┘ │ │ ▼ ▼ ▼ ▼ │ │ ┌────────┐┌────────┐┌────────┐┌────────┐ │ │ │ Tool ││ RAG ││ Direct ││ Help │ │ │ │工具调用 ││知识检索 ││直接回答 ││帮助信息 │ │ │ └────────┘└────────┘└────────┘└────────┘ │ │ │ │ │ │ └────┬────┘ │ │ ▼ │ │ ┌────────────┐ │ │ │ Generate │ │ │ │ 回答生成 │ │ │ └────────────┘ │ └─────────────────────────┬───────────────────────────────────┘ │ ┌─────────────────────┼─────────────────────┐ ▼ ▼ ▼ ┌────────┐ ┌────────────┐ ┌──────────┐ │ MySQL │ │ Chroma │ │ Ollama │ │ 数据库 │ │ 向量数据库 │ │ LLM │ └────────┘ └────────────┘ └──────────┘技术栈：层级技术选型对话框架LangGraphLLMOllama (dd_model)EmbeddingQwen3-Embedding-0.6B向量库Chroma数据库MySQLWeb 框架FastAPI3. 项目结构Customer_Services/ ├── main.py # FastAPI 入口 ├── requirements.txt # 依赖 ├── .env # 环境变量 │ ├── config/ # 配置模块 │ ├── settings.py # 全局配置 │ ├── database.py # 数据库连接 │ └── logging_config.py # 日志配置 │ ├── agent/ # Agent 核心 │ ├── graph.py # LangGraph 图定义 │ ├── state.py # 状态定义 │ ├── llm.py # LLM 配置 │ └── node/ # 节点实现 │ ├── intent.py # 意图识别 │ ├── rou…

Mac MLX 实战微调 Qwen3\-4B\-Instruct 客服模型完整教程
type: item
date: 2026-05-22T23:29:00+08:00
description: Mac MLX 实战微调 Qwen3-4B-Instruct 客服模型完整教程git地址https://github.com/zxliucn/Customer_Model_Fine-Tuning一、项目概述本项目基于 Apple MLX 框架，在 Mac 设备上轻量化微调 Qwen3-4B-Instruct 模型，针对冻冻网络冷冻食品客服场景进行专属适配。全程采用 LoRA 微调方案，仅训练少量参数，兼顾训练速度与效果，最终完成模型权重合并、GGUF 量化，可本地离线部署推理。核心场景：冷冻食品产品咨询、售后处理、物流查询、团购合作、会员问题等企业客服问答场景训练方案：MLX-LoRA 轻量化微调、Alpaca 数据格式、500 轮迭代训练最终产出：LoRA 微调权重、合并完整模型、Q4_K_M 量化 GGUF 模型二、完整项目结构标准化项目目录，分工明确，便于训练、权重管理与模型迭代：mlx3/ # 项目根目录 ├── adapters/ # LoRA 微调权重输出目录（迭代权重+最终权重） ├── data/ # 训练/验证数据集目录 │ ├── train.jsonl # 训练数据集 │ └── valid.jsonl # 验证数据集 ├── qwen3-4b-instruct/ # 原始 Qwen3-4B-Instruct 基座模型文件 ├── qwen3-4b-fused-iter500/ # 训练后合并的完整微调模型 ├── config.yaml # 训练核心超参数配置文件 └── train.sh # 一键启动训练脚本三、环境与模型准备3.1 依赖环境本项目基于 Mac MLX 框架，需提前安装对应依赖：pip install mlx-lm modelscope3.2 基座模型下载通过 modelscope 下载官方 Qwen3-4B-Instruct 2507 版本基座模型，自动保存至项目指定目录：modelscope download --model Qwen/Qwen3-4B-Instruct-2507 --local_dir ./qwen3-4b-instruct四、数据集准备采用标准 Alpaca 格式 JSONL 数据集，分为训练集和验证集，覆盖冷冻食品客服全场景问答，包含产品咨询、售后理赔、物流配送、会员权益、团购合作、食用指南、资质认证等场景。4.1 训练数据集 data/train.jsonl包含大量客服真实问答样本，用于模型微调学习，完整数据如下：{"prompt": "你是谁？", "completion": "您好，我是冻冻网络的智能客服助理。我们公司主营冷冻食品，包括鱼丸、虾滑、牛排、冰淇淋、预制菜等。请问有什么可以帮您的吗？"} {"prompt": "你们公司叫什么", "completion": "我们是冻冻网络，主营冷冻食品，比如鱼丸、虾滑、牛排、冰淇淋、预制菜等。需要我帮您推荐产品吗？"} {"prompt": "冻冻网络是干嘛的", "completion": "冻冻网络是一家冷冻食品公司，主要产品包括鱼丸、虾滑、牛排、冰淇淋、预制菜等。我们是专业的冷冻食品供应商，全程冷链配送~"} {"prompt": "你们卖什么", "completion": "我们主要卖冷冻食品哦~比如鱼丸、虾滑、牛排、冰淇淋、预制菜等等。您想了解哪一类？我可以给您详细介绍~"} {"prompt": "你是真人还是机器人", "completion": "我是冻冻网络的智能客服机器人~如果遇到我解决不了的问题，您可以拨打客服电话 400-xxx-886，转人工客服为您处理。"} {"prompt": "你们家的虾滑保质期多久？", "completion": "我们的虾滑在-18℃冷冻条件下保质期12个月。每包包装上都有具体生产日期哦~需要我帮您查某个批次的剩余保质期吗？"} {"prompt": "黑椒牛排辣不辣？小孩能吃吗？", "completion": "黑椒牛排是微辣口味，黑胡椒的香辣，小朋友可能不太适应。推荐您看看我们的原味牛排或者儿童鱼排，完全不辣，很受小朋友欢迎~"} {"prompt": "收到的鱼丸全化了，都软了！", "completion": "非常抱歉给您带来不好的体验！冷冻品在运输中化冻确实会影响品质。请您拨打我们的售后客服电话 400-xxx-886，提供订单号，我们会尽快为您核实并处理理赔。"} {"prompt": "我的订单怎么还没到？", "completion": "非常抱歉让您久等了。请您拨打我们的客服电话 400-xxx-886，提供订单号，我们会联系快递公司为您优先处理。"} {"prompt": "我不想要了，能退货吗？", "completion…

LlamaIndex 实战学习文档
type: item
date: 2026-05-13T17:23:00+08:00
description: LlamaIndex + Qwen RAG 实战学习文档版本适配: LlamaIndex v0.14.x (2026年最新稳定版) 目标读者: 大模型应用程序员 核心模型: 千问 (Qwen2.5 / Qwen3 / DashScope API) 文档定位: 从环境搭建到生产级 RAG 系统的完整实践指南目录框架概览与版本说明环境准备与安装核心概念速览基础 RAG：五步走通全流程千问模型集成详解数据加载与文档解析索引构建与向量存储检索策略与查询引擎高级 RAG 技巧生产化部署要点完整可运行代码汇总1. 框架概览与版本说明1.1 LlamaIndex 是什么？LlamaIndex 是一个专为 RAG（检索增强生成） 设计的 Python 框架，其核心理念是：数据索引化：将任意格式的非结构化数据（PDF、网页、数据库）转化为 LLM 可消费的索引结构检索即服务：提供从简单向量检索到多跳推理的完整检索抽象层与模型无关：通过 Settings 全局配置，可无缝切换 OpenAI、Claude、千问等不同模型1.2 版本演进（关键 Breaking Changes）版本关键变化影响0.9.x 之前单体式包结构from llama_index import ...0.10+模块化重构核心包 + 独立集成包，必须分开安装0.11+Settings 全局配置统一通过 Settings.llm = ... 配置0.14.x当前最新API 稳定，支持异步流式、Agent 编排⚠️ 重要: 0.10+ 版本后，llama-index 核心包不再包含模型集成代码。使用 HuggingFace 模型或特定 API 时，必须安装对应的子包。2. 环境准备与安装2.1 基础依赖安装# 核心框架（必须） pip install llama-index # 千问本地部署（HuggingFace 方式） pip install llama-index-llms-huggingface pip install llama-index-embeddings-huggingface # 千问 API 方式（DashScope / 阿里云百炼） pip install llama-index-llms-openai-like # 文档解析增强 pip install llama-index-readers-web # 网页读取 pip install llama-index-readers-file # 文件读取（PDF、Word 等） # 向量数据库（生产环境必需） pip install llama-index-vector-stores-chroma # ChromaDB pip install llama-index-vector-stores-qdrant # Qdrant # 其他工具 pip install transformers>=4.37.0 pip install torch pip install sentence-transformers2.2 环境变量配置# 方式一：本地 HuggingFace 模型（需提前下载） export HF_ENDPOINT=https://hf-mirror.com # 国内镜像加速 export CUDA_VISIBLE_DEVICES=0 # 方式二：DashScope API（推荐，无需本地 GPU） export DASHSCOPE_API_KEY="sk-xxxxxxxxxxxxxxxx" # 方式三：阿里云百炼 export ALIBABA_API_KEY="sk-xxxxxxxxxxxxxxxx"3. 核心概念速览在写代码前，必须理解 LlamaIndex 的 5 个核心抽象：┌─────────────────────────────────────────────────────────────┐ │ LlamaIndex 核心抽象层 │ ├─────────────────────────────────────────────────────────────┤ │ Document → 原始文档对象（text + metadata） │ │ ↓ │ │ Node → 文档切片（chunk），检索的最小单元 │ │ ↓ │ │ Index → 索引结构（VectorStoreIndex / TreeIndex） │ │ ↓ │ │ Retriever → 检索器（从 Index 中召回相关 Nodes） │ │ ↓ │ │ QueryEngine → 查询引擎（Retriever + LLM 合成答案） │ └──────────────────────────────────────────…

LangChain - prompt_template(多消息模板).py
type: item
date: 2026-03-04T14:57:00+08:00
description: 介绍多消息模板（系统 + 人类）适配对话场景，分离系统指令和人类问题，更符合大模型的对话习惯：codeimport os from dotenv import load_dotenv from langchain_openai import ChatOpenAI from langchain_core.messages import HumanMessage, SystemMessage from langchain_core.prompts import ChatPromptTemplate # 加载环境变量 load_dotenv() # 获取密钥 # 定义配置字典 (注意使用冒号 :) qwen_config = { "api_key": os.getenv("QWEN_API_KEY"), # 获取QWEN_API_KEY "base_url": "https://dashscope.aliyuncs.com/compatible-mode/v1", # 请求地址 "model_name": "qwen3.5-flash", } model_config = qwen_config # 初始化聊天模型 chat_model = ChatOpenAI( model=model_config["model_name"], # 模型名称 api_key=model_config["api_key"], base_url=model_config["base_url"], temperature=0.7, # 生成随机性，0-1，0为最严谨，1为最灵活 ) # 定义多消息模板，分别设置system和human的内容，{question}为人类问题变量 chat_prompt = ChatPromptTemplate.from_messages( [ ("system", "你是一个数学解题助手，只给出解题步骤和答案，不做额外解释"), ("human", "请解决这个数学题：{question}"), ] ) # 2. # 传入变量生成消息 messages = chat_prompt.invoke({"question": "2x+5=15，求x的值"}) chain = chat_prompt | chat_model # LangChain 1.0的管道符语法，简洁高效 # 调用模型生成结果 response = chain.invoke(messages) # 输出结果 print(response.content)

LangChain -提示词模版.py
type: item
date: 2026-03-04T14:49:00+08:00
description: 介绍Prompt Template（提示词模板）组件 核心作用：解决提示词硬编码的问题，实现提示词的模板化、参数化，提升复用性，支持动态传入变量，适配不同问题场景。Codeimport os from dotenv import load_dotenv from langchain_openai import ChatOpenAI from langchain_core.messages import HumanMessage, SystemMessage from langchain_core.prompts import ChatPromptTemplate # Prompt Template（提示词模板）组件 # 核心作用：解决提示词硬编码的问题，实现提示词的模板化、参数化，提升复用性，支持动态传入变量，适配不同问题场景。 # 加载环境变量 load_dotenv() # 获取密钥 # 定义配置字典 (注意使用冒号 :) qwen_config = { "api_key": os.getenv("QWEN_API_KEY"), # 获取QWEN_API_KEY "base_url": "https://dashscope.aliyuncs.com/compatible-mode/v1", # 请求地址 "model_name": "qwen3.5-flash", } model_config = qwen_config # 初始化聊天模型 chat_model = ChatOpenAI( model=model_config["model_name"], # 模型名称 api_key=model_config["api_key"], base_url=model_config["base_url"], temperature=0.7, # 生成随机性，0-1，0为最严谨，1为最灵活 ) template = """ 你是一个专业的科普博主，用通俗易懂的语言讲解{topic}，回答控制在100字以内。 """ # 初始化聊天提示词模板 prompt = ChatPromptTemplate.from_template(template) # 2. 向模板传入变量，生成标准化的聊天消息 messages = prompt.invoke({"topic": "大语言模型的嵌入技术"}) chain = prompt | chat_model # LangChain 1.0的管道符语法，简洁高效 # 调用模型生成结果 response = chain.invoke(messages) # 输出结果 print(response.content)

LangChain - 聊天模型调用.py(阿里云百炼、智谱、百度千帆)
type: item
date: 2026-03-04T14:27:00+08:00
description: import os from dotenv import load_dotenv from langchain_openai import ChatOpenAI from langchain_core.messages import HumanMessage, SystemMessage # 对接各类聊天大模型，实现对话式文本生成，是 LangChain 1.0 最常用的模型组件，替代了旧版本的部分 LLM 使用场景。 # 加载环境变量 load_dotenv() # 获取密钥 # 定义配置字典 (注意使用冒号 :) qwen_config = { "api_key": os.getenv("QWEN_API_KEY"), # 获取QWEN_API_KEY "base_url": "https://dashscope.aliyuncs.com/compatible-mode/v1", # 请求地址 "model_name": "qwen3.5-flash", } zhipu_config = { "api_key": os.getenv("ZHIPU_API_KEY"), # ZHIPU_API_KEY "base_url": "https://open.bigmodel.cn/api/paas/v4", # 请求地址 "model_name": "glm-4.5", } baidu_config = { "api_key": os.getenv("BAIDU_API_KEY"), # BAIDU_API_KEY "base_url": "https://qianfan.baidubce.com/v2", # 请求地址 "model_name": "deepseek-v3.1-250821", } # print(qwen_config) # breakpoint() model_config = baidu_config # 初始化聊天模型 chat_model = ChatOpenAI( model=model_config["model_name"], # 模型名称 api_key=model_config["api_key"], base_url=model_config["base_url"], temperature=0.7, # 生成随机性，0-1，0为最严谨，1为最灵活 ) # 构造聊天消息：SystemMessage（系统指令）→ HumanMessage（人类问题） messages = [ SystemMessage(content="你是一个友好的Python编程助手，回答简洁易懂"), HumanMessage(content="请介绍一下你自己"), ] # 调用模型生成结果 response = chat_model.invoke(messages) # 输出结果 print(response.content)

国内知名大模型及其API调用平台的官方网址汇总
type: item
date: 2026-03-04T13:45:00+08:00
description: 互联网巨头系厂商模型系列API平台名称官方网址 (控制台/首页)备注阿里巴巴通义千问 (Qwen)阿里云百炼https://bailian.console.aliyun.com集成通义全系列及开源模型，新用户送高额Tokens百度文心一言 (ERNIE)百度智能云千帆https://console.bce.baidu.com/qianfan需登录百度智能云控制台，支持多种文心模型腾讯混元 (Hunyuan)腾讯云混元大模型https://cloud.tencent.com/product/hunyuan在腾讯云控制台内选择“混元”服务华为盘古 (Pangu)华为云 ModelArtshttps://www.huaweicloud.com/product/modelarts.html侧重行业模型，需进入ModelArts控制台管理科大讯飞星火 (Spark)讯飞开放平台https://www.xfyun.cn语音类API入口，大模型在“认知大模型”板块垂直领域独角兽厂商模型系列API平台名称官方网址 (控制台/首页)备注月之暗面Kimi (Moonshot)月之暗面开放平台https://platform.moonshot.cn长文本处理首选，界面简洁深度求索DeepSeekDeepSeek开放平台https://platform.deepseek.com高性价比，代码与推理能力强智谱AIGLM (智谱清言)智谱开放平台 (BigModel)https://open.bigmodel.cn提供GLM-4等系列，Agent开发友好MiniMaxABABMiniMax开放平台https://api.minimax.chat角色扮演与语音合成见长商汤科技日日新 (SenseNova)商汤SenseCloudhttps://www.sensecore.com.cn多模态与视觉能力突出零一万物Yi (万悟)零一万物开放平台https://platform.lingyiwanwu.com开源模型商业化代表之一聚合与中转平台 (可选)平台名称官方网址特点硅基流动 (SiliconFlow)https://siliconflow.cn提供多家主流模型的高速推理API，兼容OpenAI格式火山引擎 (方舟)https://www.volcengine.com字节系模型及第三方模型聚合，控制台选“方舟”OneAPI (开源项目)https://github.com/songquanpeng/one-api可自建的中转系统，统一管理多个上游渠道

vLLm运行模型显存不够的问题
type: item
date: 2026-02-28T16:00:00+08:00
description: vLLM运行模型显存不足的原因及解决方法在使用vLLM部署大语言模型时，显存不足是最常见的报错（如提示“Free memory on device cuda:0 is less than desired GPU memory utilization”），其核心是GPU显存无法满足模型运行、优化策略及任务负载的综合需求。以下将详细分析显存不足的原因，并提供按优先级排序的可操作解决方法，适配各类常见场景（尤其针对8GB等小显存设备）。一、显存不足的核心原因vLLM显存占用主要分为「模型本身占用」「vLLM优化策略占用」「任务负载占用」三类，任一环节超出GPU显存上限，都会导致启动或运行失败，具体原因如下：1. 模型本身占用超出显存上限（最常见）这是最核心的原因，模型的参数规模、精度直接决定基础显存占用：参数规模过大：如13B、34B级别的模型，原生FP16精度下，单卡（如8GB显存）无法容纳（13B模型FP16精度约占用26GB显存），即使是7B模型，原生精度也需约14GB显存，8GB显存设备直接超出上限。模型精度过高：vLLM默认使用FP16精度运行模型，相比FP32精度虽已减半显存占用，但对小显存设备（8GB及以下）仍不友好；若未开启量化，原生精度的显存占用会直接超出设备承载能力。2. vLLM优化策略的显存预留过高vLLM为提升推理速度，会默认预留一定比例的显存用于优化（如CUDA图、PagedAttention分页机制），其中最关键的是「GPU显存利用率」参数：默认显存利用率过高：vLLM默认gpu_memory_utilization=0.85，即会尝试占用GPU 85%的显存用于模型加载和优化。例如8GB显存设备，默认需要占用约6.8GB显存，若设备本身可用显存不足（如被其他进程占用后剩余6.7GB），就会直接报错。CUDA图优化的显存预留：vLLM默认启用CUDA图优化，会额外预留部分显存用于加速推理，对于8GB等小显存设备，这部分预留会进一步挤压模型可用显存。3. 任务负载及环境干扰除模型和优化策略外，外部环境和任务设置也会占用显存，导致可用显存不足：其他进程占用显存：GPU上同时运行其他程序（如Jupyter内核、其他Python进程、PyTorch缓存），会占用部分显存，导致vLLM可使用的显存减少（如你之前的报错中，8GB显存仅剩余6.7GB可用）。任务参数设置不合理：如单批次token数（max-num-batched-tokens）设置过高、并发请求过多，会导致推理过程中显存占用临时飙升，超出预留显存。分布式配置错误：若误设置tensor-parallel-size（张量并行数）大于1，单卡会尝试加载部分模型参数+通信开销，额外增加显存占用，单卡部署时此参数必须为1。4. 次要原因：环境配置或版本冲突vLLM与PyTorch、CUDA版本不兼容，或未清理显存缓存，会导致显存泄露、占用异常，间接引发显存不足（如你之前遇到的NCCL进程组未销毁警告，虽不直接导致显存不足，但会造成显存泄露，长期运行会加剧问题）。二、显存不足的解决方法（按优先级从易到难）解决思路：先快速释放可用显存、降低显存预留，再通过量化、调整参数进一步优化，最后排查环境和模型问题，确保每一步都可落地、见效快。1. 快速释放显存（立即见效，优先操作）针对“其他进程占用显存”“显存缓存”问题，快速释放可用显存，无需修改模型或配置：关闭占用GPU的其他进程查看GPU进程：执行命令 nvidia-smi，查看占用GPU的进程ID（PID）。杀死进程：执行命令 kill -9 <PID>（替换<PID>为实际进程号，如Jupyter、多余Python进程）。清理PyTorch显存缓存：若之前运行过PyTorch程序，执行以下代码清理缓存（可在启动vLLM前运行）：`import torchtorch.cuda.empty_cache() # 清理未使用的显存缓存torch.cuda.reset_max_memory_allocated() # 重置显存统计`重启GPU相关服务：若显存泄露严重，可重启电脑或GPU驱动（执行 nvidia-smi -r，部分系统需sudo权限）。2. 降低vLLM显存预留（适配小显存设备，核心操作）针对“显存利用率过高”“CUDA图预留”问题，修改vLLM启动参数，直接减少显存占用，适配8GB等小显存设备：降低GPU显存利用率（最关键）启动vLLM时，通过 --gpu-memory-utilization 参数降低显存占用比例，建议8GB显存设备设置为0.7~0.8（根据可用显存调整）。示例启动命令（OpenAI兼容服务器）：`python -m vllm.entrypoints.openai.api_server \ …

Hugging Face下载vLLm使用的模型
type: item
date: 2026-02-28T14:37:00+08:00
description: Hugging Face 下载vLLm使用的模型前往Hugging Face 寻找自己需要的模型例如：下载这个模型 https://huggingface.co/Qwen/Qwen3-VL-4B-Instruct复制模型名称 Qwen/Qwen3-VL-4B-Instruct下载模型使用 huggingface-cli 命令行工具（推荐）pip install huggingface_hub登录 Hugging Face（如果是私有模型或需要避免速率限制）公共模型可以不用huggingface-cli login然后输入你的 Access Token (https://huggingface.co/settings/tokens)下载模型：export HF_ENDPOINT=https://hf-mirror.comhf download Qwen/Qwen3-VL-4B-Instruct --local-dir Qwen3-VL-4B普通版本的模型会默认占用90%的显存，可能会出现显存不够的问题，可以选择量化版本的模型进行下载mac 安装vllm 下载模型流程#创建虚拟环境 conda create --name vllm_dev python=3.12 #使用环境 conda activate vllm_dev #安装huggingface_hub pip install huggingface_hub #下载模型 export HF_ENDPOINT=https://hf-mirror.com hf download Qwen/Qwen3-Embedding-0.6B