加载文件进行分割向量化存储到 faissfrom langchain_experimental.text_splitter import SemanticChunker from langchain_community.vectorstores import FAISS # 读取文件内容 wit...
大模型技术
技术
82 篇文章
0 min 平均阅读
14 - RAG Advanced (RAG 进阶)快速开始# 1. 安装额外依赖 pip install rank_bm25 chromadb langchain-classic # 2. 运行完整示例 cd phase2_practical python 14_rag_advanced/mai...
Mac 使用transformers 库运行本地大模型使用全记录下载大模型到本地//创建本地运行虚拟环境 conda create --name vllm_dev python=3.12 conda activate vllm_dev //刚开始想用 vllm 运行模型，但是发现这个模型很小，改用t...
完整json对话日志注解{ "messages": [ // ============================================== // 1. 用户提问 // ==================================...
BaseLoader、Document源码分析BaseLoaderLangChain在设计时，要保证Source中多种不同的数据源，在接下来的流程中可以用一种统一 的形式读取、调用。 另一方面：为什么 PDFloader 和 TextLoader 等Document Loader 都使用 load...
加载TXT的文件#安装langchain_community # pip install langchain_community # 读取普通的文件 from langchain_community.document_loaders import TextLoader text = T...
大模型 RAG (检索增强生成) 详解RAG (Retrieval-Augmented Generation，检索增强生成) 是目前大语言模型（LLM）应用中最主流、最核心的架构模式之一。它巧妙地结合了检索系统（类似搜索引擎）和生成系统（大语言模型），旨在解决大模型固有的“幻觉”、知识滞后以及私有数...
尚硅谷-conda使用指南讲师：尚硅谷-宋红康官网：尚硅谷1. Conda 基本介绍1.1 什么是 Conda、MiniConda、AnacondaConda是一个包和环境管理的工具。支持 Windows、macOS和 Linux。Conda可以快速的安装、运行和更新包和相关的依赖。Conda也可以...
13 - RAG Basics (RAG 基础)快速开始# 1. 测试基础组件（无需 Pinecone API） python test.py # 2. 快速演示（非交互式，可选 Pinecone） python demo.py # 3. 完整示例（交互式，需要手动按 Enter） python...
# 核心概念 # 验证和重试 = 确保 LLM 应用的可靠性和数据质量 # 在生产环境中，需要处理三类问题： # 网络错误 - 临时性连接问题（用 with_retry()） # 模型故障 - 主模型不可用（用 with_fallbacks()） # 输出质量 - LLM 输...