序
本文主要研究一下langchain4j的核心RAG APIs
核心RAG APIs
langchain4j提供了一套豐富的API來構(gòu)建自定義的RAG（檢索增強(qiáng)生成）pipelines，從簡單的到高級的都有涵蓋。
Document
Document類表示整個文檔，例如單個 PDF 文件或網(wǎng)頁。目前，Document 只能表示文本信息，但未來的更新將使其能夠支持圖像和表格。
Metadata
每個文檔都有Metadata，例如其名稱、來源、最后更新日期、所有者或其他相關(guān)信息。Metadata以鍵值對的形式存儲，其中鍵為字符串類型，值可以是以下類型之一：字符串、整數(shù)、長整數(shù)、浮點數(shù)、雙精度浮點數(shù)。Metadata具有以下用途：
- 當(dāng)將文檔內(nèi)容包含在對LLM（大型語言模型）的提示中時，也可以包含元數(shù)據(jù)條目，為LLM提供額外的信息以考慮。例如，提供文檔名稱和來源可以幫助提高LLM對內(nèi)容的理解。
- 在搜索相關(guān)內(nèi)容以包含在提示中時，可以通過元數(shù)據(jù)條目進(jìn)行過濾。例如，可以將語義搜索縮小到僅屬于特定所有者的文檔。
- 當(dāng)文檔的來源更新時（例如，特定頁面的文檔），可以通過其元數(shù)據(jù)條目（例如，"id"、"來源"等）輕松定位相應(yīng)的文檔，并在EmbeddingStore中同步更新它以保持同步。
DocumentLoader
langchain4j提供了FileSystemDocumentLoader、ClassPathDocumentLoader、UrlDocumentLoader、AmazonS3DocumentLoader(langchain4j-document-loader-amazon-s3)、AzureBlobStorageDocumentLoader(langchain4j-document-loader-azure-storage-blob)、GitHubDocumentLoader(langchain4j-document-loader-github)、GoogleCloudStorageDocumentLoader(langchain4j-document-loader-google-cloud-storage)、SeleniumDocumentLoader(langchain4j-document-loader-selenium)、TencentCosDocumentLoader(langchain4j-document-loader-tencent-cos)
DocumentParser
文檔有諸如PDF, DOC, TXT等類型，需要對應(yīng)的DocumentParser去解析，langchain4j提供了TextDocumentParser、ApachePdfBoxDocumentParser(langchain4j-document-parser-apache-pdfbox)、ApachePoiDocumentParser(langchain4j-document-parser-apache-poi，可以解析MS Office文件，諸如DOC, DOCX, PPT, PPTX, XLS, XLSX)、ApacheTikaDocumentParser(langchain4j-document-parser-apache-tika，可以自動檢測和解析大部分文件格式)
DocumentTransformer
DocumentTransformer實現(xiàn)可以執(zhí)行多種文檔轉(zhuǎn)換任務(wù)：
清理（Cleaning）：
清理涉及從文檔文本中移除不必要的噪音，這可以節(jié)省token并減少干擾。過濾（Filtering）：
過濾可以完全排除特定文檔，從而避免這些文檔參與搜索。豐富（Enriching）：
可以向文檔中添加附加信息，以增強(qiáng)搜索結(jié)果。總結(jié)（Summarizing）：
文檔可以被總結(jié)，其簡短摘要可以存儲在元數(shù)據(jù)中，并稍后包含在每個TextSegment 中，以改善搜索結(jié)果。
也可以添加、修改或刪除元數(shù)據(jù)條目。目前唯一提供的開箱即用實現(xiàn)是HtmlToTextDocumentTransformer，它位于langchain4j-document-transformer-jsoup模塊中，可以從原始HTML中提取所需文本內(nèi)容和元數(shù)據(jù)條目
TextSegment
一旦文檔加載完成，接下來就是將它們分割（分塊）成更小的片段（部分）。LangChain4j 的領(lǐng)域模型中包含一個TextSegment 類，該類表示文檔的一個片段。正如其名稱所示，TextSegment 只能表示文本信息。
DocumentSplitter
langchain4j提供了多個開箱即用的DocumentSplitter實現(xiàn)，比如DocumentByParagraphSplitter、DocumentByLineSplitter、DocumentBySentenceSplitter、DocumentByWordSplitter、DocumentByCharacterSplitter、DocumentByRegexSplitter以及遞歸的DocumentSplitters.recursive(...)。它們可以通過如下方式配合在一起工作：
- 實例化一個DocumentSplitter，并指定所需的TextSegments大小，以及可選的字符或token重疊量。
- 調(diào)用DocumentSplitter的split(Document) 或 splitAll(List<Document>) 方法
- DocumentSplitter將給定的文檔分割成更小的單元，這些單元的性質(zhì)取決于具體的DocumentSplitter實現(xiàn)。例如，DocumentByParagraphSplitter將文檔按段落（由兩個或更多連續(xù)換行符定義）分割，而DocumentBySentenceSplitter 使用OpenNLP庫的句子檢測器將文檔按句子分割，等等。
- DocumentSplitter 將這些較小的單元（段落、句子、單詞等）組合成TextSegments，嘗試在單個TextSegment中包含盡可能多的單元，而不超過步驟1中設(shè)置的限制。如果某些單元仍然太大，無法適應(yīng)TextSegment，它會調(diào)用子分割器。這是另一個DocumentSplitter，能夠?qū)⒉贿m應(yīng)的單元分割成更細(xì)粒度的單元。所有元數(shù)據(jù)條目都會從文檔復(fù)制到每個TextSegment。每個TextSegment會添加一個唯一的元數(shù)據(jù)條目 "index"。第一個TextSegment將包含index=0，第二個 index=1，依此類推。
TextSegmentTransformer
TextSegmentTransformer跟DocumentTransformer有點類似，但是他轉(zhuǎn)換的是TextSegment。與DocumentTransformer一樣，沒有一種萬能的解決方案，因此建議實現(xiàn)自己的TextSegmentTransformer。有一種在提高檢索效果方面非常有效的方案是：在每個TextSegment中包含文檔標(biāo)題或簡短摘要。
Embedding
Embedding封裝了一個數(shù)值向量，該向量表示已嵌入內(nèi)容(通常是文本，比如TextSegment)的語義意義.
EmbeddingModel
EmbeddingModel表示一種特殊類型的模型，用于將文本轉(zhuǎn)換為嵌入（Embedding）。目前支持的嵌入模型可以在這里找到Embedding Models
EmbeddingStore
EmbeddingStore表示一個用于存儲嵌入（Embeddings）的存儲系統(tǒng)，也被稱為向量數(shù)據(jù)庫。它允許存儲嵌入并高效地搜索相似的（在嵌入空間中靠近的）嵌入。目前支持的嵌入存儲可以在這里找到Comparison table of all supported Embedding Stores。EmbeddingStore可以單獨(dú)存儲嵌入，也可以與相應(yīng)的 TextSegment一起存儲：
- 它可以通過ID只存儲嵌入。原始嵌入數(shù)據(jù)可以存儲在其他地方，并通過ID進(jìn)行關(guān)聯(lián)。
- 它可以同時存儲嵌入和已嵌入的原始數(shù)據(jù)（通常是 TextSegment）。
EmbeddingSearchRequest代表一個向EmbeddingStore的搜索請求，它有maxResults可選參數(shù)，返回的最大結(jié)果數(shù)量，默認(rèn)值為3；minScore最小分?jǐn)?shù)可選參數(shù)，范圍從0到1（含0和1）。只有分?jǐn)?shù)大于等于minScore 的嵌入才會被返回，默認(rèn)值為0；Filter參數(shù)，在搜索過程中應(yīng)用于元數(shù)據(jù)的過濾器，只有其元數(shù)據(jù)與過濾器匹配的TextSegments才會被返回，不過并不是所有的EmbeddingStore都支持元數(shù)據(jù)過濾，也有的雖然支持但是不支持Filter的所有操作，比如ContainsString操作目前僅僅是Milvus, PgVector和Qdrant這三種向量數(shù)據(jù)庫支持。
EmbeddingSearchResult代表在EmbeddingStore中搜索的結(jié)果，它包含一個EmbeddingMatch列表；EmbeddingMatch表示一個匹配的嵌入（Embedding），以及其相關(guān)性分?jǐn)?shù)、ID和原始嵌入數(shù)據(jù)（通常是 TextSegment）。
EmbeddingStoreIngestor
EmbeddingStoreIngestor負(fù)責(zé)將文檔（Documents）攝取到嵌入存儲（EmbeddingStore）中。在最簡單的配置中，EmbeddingStoreIngestor使用指定的嵌入模型（EmbeddingModel）對提供的文檔進(jìn)行嵌入，并將它們及其嵌入存儲在指定的嵌入存儲中。示例代碼：
EmbeddingStoreIngestor ingestor = EmbeddingStoreIngestor.builder()
.embeddingModel(embeddingModel)
.embeddingStore(embeddingStore)
.build();
ingestor.ingest(document1);
ingestor.ingest(document2, document3);
IngestionResult ingestionResult = ingestor.ingest(List.of(document4, document5, document6));
- 所有ingest() 方法在EmbeddingStoreIngestor中返回一個IngestionResult對象。IngestionResult包含有用的信息，包括TokenUsage，它顯示了用于嵌入的令牌數(shù)量。
- EmbeddingStoreIngestor可選地可以使用指定的DocumentTransformer轉(zhuǎn)換文檔，這在希望在嵌入之前清理、豐富或格式化文檔時非常有用。
- EmbeddingStoreIngestor可選地可以使用指定的DocumentSplitter將文檔拆分為文本段（TextSegments）。這在文檔較大時非常有用，您可以將它們拆分為更小的文本段，以提高相似性搜索的質(zhì)量，并減少發(fā)送到LLM的提示的大小和成本。
- EmbeddingStoreIngestor可選地可以使用指定的TextSegmentTransformer轉(zhuǎn)換文本段。這在希望在嵌入之前清理、豐富或格式化文本段時非常有用。
示例如下
EmbeddingStoreIngestor ingestor = EmbeddingStoreIngestor.builder()
// adding userId metadata entry to each Document to be able to filter by it later
.documentTransformer(document -> {
document.metadata().put("userId", "12345");
return document;
})
// splitting each Document into TextSegments of 1000 tokens each, with a 200-token overlap
.documentSplitter(DocumentSplitters.recursive(1000, 200, new OpenAiTokenizer()))
// adding a name of the Document to each TextSegment to improve the quality of search
.textSegmentTransformer(textSegment -> TextSegment.from(
textSegment.metadata("file_name") + "\n" + textSegment.text(),
textSegment.metadata()
))
.embeddingModel(embeddingModel)
.embeddingStore(embeddingStore)
.build();
小結(jié)
langchain4j提供了一套豐富的API來構(gòu)建自定義的RAG（檢索增強(qiáng)生成）pipelines，包括DocumentLoader、DocumentParser、DocumentTransformer、DocumentSplitter、TextSegmentTransformer、EmbeddingStoreIngestor。
