LangChain:数据增强之文本切割器

在Langchain的数据增强模块,数据以 Document 对象和向量形式在各个包装器之间流转。向量形式的数据由向量数据库管理,而被转换为向量之前,数据以 Document 对象的形式存在。

阅读更多

LangChain:数据增强之加载器-Loader

LangChain框架中的Loader组件是数据增强处理流程中的核心模块,负责将不同格式的数据源转换为统一的Document对象。这些文档对象包含文本内容(page_content)和元数据(metadata),为后续的文本处理、嵌入、问答等操作奠定基础。

阅读更多

LangChain:数据增强概念

LangChain 框架的数据增强模块主要基于检索增强生成(RAG)技术,通过整合外部知识库提升大语言模型(LLM)在专业领域、实时性要求和私有数据场景下的表现。

阅读更多

AI-NLP-001-Base-Word-Embedding

自然语言处理(NLP)中的文本嵌入技术旨在将离散的文本符号(如词或句子)映射到连续的向量空间,以捕捉语义和语法信息。文本嵌入可分为词嵌入句子嵌入两类,两者在实现框架和技术细节上存在显著差异。以下从技术定义、实现框架和具体方法展开详细说明:

阅读更多