import requests import json import base64 from typing import List, Optional, Dict # 配置模型服务地址和参数 API_BASE_URL = "htt...

# vLLM运行模型显存不足的原因及解决方法 在使用vLLM部署大语言模型时，显存不足是最常见的报错（如提示“Free memory on device cuda:0 is less than desired GPU memory utilization”），其核心是GPU显存无法满足模型运行...

#Hugging Face 下载vLLm使用的模型 ##前往Hugging Face 寻找自己需要的模型 例如： 下载这个模型 https://huggingface.co/Qwen/Qwen3-VL-4B-Instruct 复制模型名称 Qwen/Qwen3-VL-4B-Instruc...

#WSL迁移到D盘 默认WSL安装的Ubuntu系统会放到c盘，由于我们还要安转vllm及大模型文件，所以我们把系统迁移到D盘，避免过多占用C盘文件 ##查看已安装的系统 PS C:\Users\T-mac> wsl -l 适用于 Linux 的 Windows 子系统分发: Ubun...

#wsl 无法连接外部网络问题修复 ##切换 WSL 网络模式为 mirrored 镜像模式，直接共享 Windows 网络栈 WSL 2 默认使用 NAT 网络，容易被 Windows 防火墙 / 安全软件拦截。 在 Windows 管理员终端中执行： powe...

#vllm安装运行本地大模型 - windows篇 ##前言 目前 vLLM 对 Windows 的原生支持（Native Windows Support）非常有限且处于早期实验阶段，而在 WSL2 环境下则非常成熟和稳定，所以在windows电脑上运行vllm,尽可能的需要安装wsl2 ...

# LangChain 1.0 + LangGraph 1.0 全栈学习指南 本指南面向有基础Python编程能力、希望系统掌握LangChain/LangGraph 1.0+生态的开发者，所有示例均基于2026年最新稳定版API，摒弃所有已废弃的旧写法（如`langchain.chains`...

# vLLM 大模型开发全栈学习指南 本指南面向具备 Python 基础和大模型核心概念（Transformer、Attention、Quantization）的开发人员，旨在帮助大家从零开始掌握 vLLM 框架，实现高性能推理服务的搭建、二次开发与深度调优，全程注重实操性与实用性，避免冗余的...

# Ollama 本地大模型学习与实战指南 **目标读者**：有一定技术基础（了解终端/命令行、基本编程概念）但从未接触过 Ollama 的开发者 # 1. 简介 ## 1.1 什么是 Ollama？ Ollama 是一款轻量级的开源工具，专为在本地环境中轻松运行、管理和定制...

#使用Claude Code + qwen3-coder-plus 搭建一个 山东省企/央企/国企培训招标公示提醒平台 ##使用千问构建提示词 ###需求构建 我需要做一个山东省内省企 央企 国企培训招标公示提醒平台，需要采集最近企业发布的有关入职培训、团队建设、安全培训相关的指标公告，...