LoRA与QLoRA详解LoRA（Low-Rank Adaptation，低秩适配）和QLoRA（Quantized LoRA，量化低秩适配）均是大模型微调的高效方法，核心目标是在降低显存消耗、控制训练成本的同时，保留模型原有能力并完成特定任务适配，二者本质是“基础方法+优化升级”的关系，下面分别详...
大模型技术
技术
82 篇文章
0 min 平均阅读
大模型微调核心知识文档一、文档说明本文档系统性梳理大模型微调的基础概念、核心分类、主流技术方案、完整流程、硬件要求及常见问题，兼顾理论性与实用性，适合AI应用开发、模型落地相关从业者入门学习，也可作为技术参考与存档使用。文档内容通俗易懂，避免过度晦涩的专业术语，同时保留核心技术细节，助力读者快速掌握...
1. 什么是 Prompt Engineering？提示工程 是设计和优化输入指令（Prompt），以引导大语言模型（如 GPT-4、Claude 等）生成准确、相关、高质量输出的实践科学。通俗理解：AI 像一个极度“字面”但知识渊博的助手。Prompt Engineering 就是教会你如何写一份...
Prompt 万能模板库一、通用万能黄金模板（所有场景通用）你现在扮演【专业角色】 背景：【任务背景/需求场景】 任务：【明确要做什么事】 要求： 1. 【风格要求】 2. 【字数/篇幅要求】 3. 【输出格式：Markdown/列表/表格/分点】 4. 【禁止事项：不要废话、不要客套、不要解释原理...
2.1 什么是 Token？Token 是大语言模型处理文本的最小基本单位。模型不直接识别原始字符，而是先将文本切分成一个个 Token，再进行后续的处理与理解。中文示例：“我喜欢吃苹果” → ["我", "喜欢", "吃", "苹果"]（共4个Token）英文示例：“ChatGPT” → 可能被拆...
什么是 LLM？一、定义LLM 是 Large Language Model 的缩写，中文全称为 大语言模型。它是一类基于深度学习技术构建的、规模极其庞大的人工智能模型。其核心能力是理解自然语言、生成自然语言文本，并在此基础之上展现出逻辑推理、知识问答、代码编写等复杂能力。可以用一句话概括：LLM ...
Transformer架构总结一、概述Transformer是由Google团队于2017年在论文《Attention Is All You Need》中提出的深度学习架构，其核心设计摒弃了传统循环神经网络（RNN）、长短期记忆网络（LSTM）的串行计算模式，以自注意力机制为核心，实现了并行计算，大...
import re import hashlib import xml.etree.ElementTree as ET from datetime import datetime from fastapi import FastAPI, Request, Response # RAG from l...
微信公众号 RAG Agent 最终版 GitHub 文档（已补全：项目目录、requirements.txt、Modelfile、Nginx反向代理、微信配置全流程、完整启动命令）🚀 项目介绍本项目是一个专为微信公众号设计的轻量智能对话Agent，基于 FastAPI + LangGraph + ...
数据向量化#读取 现有json文件，不需要分割的数据直接构建 import json from langchain_experimental.text_splitter import SemanticChunker from langchain_community.vectorstores impo...