介绍多消息模板（系统 + 人类）适配对话场景，分离系统指令和人类问题，更符合大模型的对话习惯：codeimport os from dotenv import load_dotenv from langchain_openai import ChatOpenAI from langchain_cor...
Python
技术
54 篇文章
0 min 平均阅读
介绍Prompt Template（提示词模板）组件 核心作用：解决提示词硬编码的问题，实现提示词的模板化、参数化，提升复用性，支持动态传入变量，适配不同问题场景。Codeimport os from dotenv import load_dotenv from langchain_openai i...
import os from dotenv import load_dotenv from langchain_openai import ChatOpenAI from langchain_core.messages import HumanMessage, SystemMessage # 对接...
互联网巨头系厂商模型系列API平台名称官方网址 (控制台/首页)备注阿里巴巴通义千问 (Qwen)阿里云百炼https://bailian.console.aliyun.com集成通义全系列及开源模型，新用户送高额Tokens百度文心一言 (ERNIE)百度智能云千帆https://console....
import requests import json import base64 from typing import List, Optional, Dict # 配置模型服务地址和参数 API_BASE_URL = "http://localhost:8000/v1" ...
vLLM运行模型显存不足的原因及解决方法在使用vLLM部署大语言模型时，显存不足是最常见的报错（如提示“Free memory on device cuda:0 is less than desired GPU memory utilization”），其核心是GPU显存无法满足模型运行、优化策略及...
Hugging Face 下载vLLm使用的模型前往Hugging Face 寻找自己需要的模型例如：下载这个模型 https://huggingface.co/Qwen/Qwen3-VL-4B-Instruct复制模型名称 Qwen/Qwen3-VL-4B-Instruct下载模型使用 huggi...
WSL迁移到D盘默认WSL安装的Ubuntu系统会放到c盘，由于我们还要安转vllm及大模型文件，所以我们把系统迁移到D盘，避免过多占用C盘文件查看已安装的系统PS C:UsersT-mac> wsl -l适用于 Linux 的 Windows 子系统分发:Ubuntu (默认)docker-...
wsl 无法连接外部网络问题修复切换 WSL 网络模式为 mirrored 镜像模式，直接共享 Windows 网络栈WSL 2 默认使用 NAT 网络，容易被 Windows 防火墙 / 安全软件拦截。 在 Windows 管理员终端中执行： powershell wsl --status 确认是...
vllm安装运行本地大模型 - windows篇前言目前 vLLM 对 Windows 的原生支持（Native Windows Support）非常有限且处于早期实验阶段，而在 WSL2 环境下则非常成熟和稳定，所以在windows电脑上运行vllm,尽可能的需要安装wsl2WSL安装及相关命令官...