互联网巨头系厂商模型系列API平台名称官方网址 (控制台/首页)备注阿里巴巴通义千问 (Qwen)阿里云百炼https://bailian.console.aliyun.com集成通义全系列及开源模型，新用户送高额Tokens百度文心一言 (ERNIE)百度智能云千帆https://console.bce.baidu.com/qianfan需登录百度智能云控...
code - 本地vLLm模型请求示例
import requests
import json
import base64
from typing import List, Optional, Dict
# 配置模型服务地址和参数
API_BASE_URL = "http://localhost:8000/v1" # 你的vLLM服务地址
MODEL_NAME = &quo...
vLLm运行模型显存不够的问题
vLLM运行模型显存不足的原因及解决方法在使用vLLM部署大语言模型时，显存不足是最常见的报错（如提示“Free memory on device cuda:0 is less than desired GPU memory utilization”），其核心是GPU显存无法满足模型运行、优化策略及任务负载的综合需求。以下将详细分析显存不足的原因，并提供按优...
Hugging Face下载vLLm使用的模型
Hugging Face 下载vLLm使用的模型前往Hugging Face 寻找自己需要的模型例如：下载这个模型 https://huggingface.co/Qwen/Qwen3-VL-4B-Instruct复制模型名称 Qwen/Qwen3-VL-4B-Instruct下载模型使用 huggingface-cli 命令行工具（推荐）pip instal...
WSL 迁移到D盘
WSL迁移到D盘默认WSL安装的Ubuntu系统会放到c盘，由于我们还要安转vllm及大模型文件，所以我们把系统迁移到D盘，避免过多占用C盘文件查看已安装的系统PS C:UsersT-mac> wsl -l适用于 Linux 的 Windows 子系统分发:Ubuntu (默认)docker-desktop导出Ubuntu 系统PS C:UsersT-...