1、概览 AI 驱动的应用已成为我们的新现实。我们正在广泛实现各种 RAG 应用和提示 API，并使用 LLM 创建令人印象深刻的项目。借助 Spring AI，我们可以更快、更稳定地完成这些任务。
本文将带你了解 Spring AI Advisor 这一功能，它可以为我们处理各种常规任务。
2、Spring AI Advisor 是什么？ Advisors 是在 AI 应用程序中处理请求和响应的拦截器。我们可以使用它们为提示流程设置额外的功能。例如，可以建立聊天历史、排除敏感词或为每个请求添加额外的上下文。
该功能的核心组件是 CallAroundAdvisor 接口。我们通过实现该接口来创建 Advisor 链，从而影响我们的请求或响应。Advisor 流程如下图所示：
我们会将提示（prompt）发送到一个聊天模型，该模型关联了一个 Advisor 链。在发送提示之前，链上的每个 Advisor 都会执行其 before 操作。同样，在收到聊天模型的回复之前，每个 Advisor 都会调用自己的 after 操作。
3、ChatMemoryAdvisor ChatMemoryAdvisor 是一组非常有用的 Advisor 实现。我们可以使用这些 Advisor 提供与聊天提示的交流历史，从而提高聊天回复的准确性。
3.1、MessageChatMemoryAdvisor 使用 MessageChatMemoryAdvisor，我们可以通过 messages 属性提供聊天客户端调用的聊天历史记录。我们可以将所有消息保存在 ChatMemory 实现中，并控制历史记录的大小。
示例如下：
@SpringBootTest(classes = ChatModel.class) @EnableAutoConfiguration @ExtendWith(SpringExtension.class) public class SpringAILiveTest { @Autowired @Qualifier("openAiChatModel") ChatModel chatModel; ChatClient chatClient; @BeforeEach void setup() { chatClient = ChatClient.
1、概览 AI（人工智能）技术的使用正成为现代开发中的一项关键技能。在本文中，我们将构建一个 RAG Wiki 应用，它可以根据存储的文档回答问题。
我们会通过 Spring AI 将应用与 MongoDB Vector 数据库 和 LLM 集成。
2、RAG 应用 当自然语言生成需要依赖上下文数据时，我们就会使用 RAG（Retrieval-Augmented Generation）应用。RAG 应用的一个关键组成部分是向量数据库（Vector Database），它在有效管理和检索这些数据方面起着至关重要的作用：
我们使用 Embedding Model 来处理源文件。Embedding Model 将文档中的文本转换为高维向量。这些向量捕捉了内容的语义，使我们能够根据上下文而不仅仅是关键词匹配来比较和检索类似的内容。然后，我们将文档存储到向量数据库。
保存文档后，我们可以通过以下方式发送提示信息：
首先，我们使用 Embedding Model 来处理问题，将其转换为捕捉其语义的向量。 接下来，进行相似性搜索，将问题的向量与存储在向量库中的文档向量进行比较。 从最相关的文档中，为问题建立一个上下文。 最后，将问题及其上下文发送给 LLM，LLM 会根据所提供的上下文构建与查询相关的回复。 3、MongoDB Atlas Search 在本教程中，我们将使用 MongoDB Atlas Search 作为我们的向量数据库。它提供的向量搜索功能可以满足我们在本项目中的需求。为了测试，我们使用 mongodb-atlas-local Docker 容器来设置 MongoDB Atlas Search 的本地实例。
创建一个 docker-compose.yml 文件：
version: '3.1' services: my-mongodb: image: mongodb/mongodb-atlas-local:7.0.9 container_name: my-mongodb environment: - MONGODB_INITDB_ROOT_USERNAME=wikiuser - MONGODB_INITDB_ROOT_PASSWORD=password ports: - 27017:27017 4、依赖和配置 首先，添加必要的依赖项。由于我们的应用要提供 HTTP API，因此加入 spring-boot-starter-web 依赖：
Spring AI 现在支持 NVIDIA®（英伟达™）的 大型语言模型 API，可与各种 模型 集成。通过利用 NVIDIA 的 OpenAI 兼容 API，Spring AI 允许开发人员通过熟悉的 Spring AI API 使用 NVIDIA LLM。
本文将带你了解如何配置和使用 Spring AI OpenAI 聊天客户端来连接 NVIDIA LLM API。
完整的示例代码可从 nvidia-llm GitHub 仓库获取。 SpringAI / NVIDIA 整合文档。 先决条件 创建 NVIDIA 帐户并获得足够的积分。 从 NVIDIA 提供的 LLM 模型 中选择自己喜欢的模型。如下面截图中的 meta/llama-3.1-70b-instruct。 从模型页面获取所选模型的 API Key。 依赖 首先，将 Spring AI OpenAI Starter 添加到 Maven pom.xml 中：
<dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-openai-spring-boot-starter</artifactId> </dependency> 对于 Gradle 来说，需要在 build.gradle 添加如下依赖：
OpenAI 最近 推出了 一项名为 “结构化输出”（Structured Outputs）的强大功能，可确保 AI 生成的响应严格遵守预定义的 JSON Schema。这一功能大大提高了 AI 生成的内容在实际应用中的可靠性和可用性。
Spring AI(1.0.0-SNAPSHOT) 已 完全集成 了对 OpenAI 的结构化输出的支持，以一种无缝的 Spring 原生方式为 Java 开发人员带来了这一功能。
下图显示了新的结构化输出功能如何扩展 OpenAI Chat API：
注：Spring AI 已经提供了 功能强大、与模型无关的结构化输出 工具，可用于包括 OpenAI 在内的各种 AI 模型。OpenAI 结构化输出功能提供了一个额外的、一致的、但针对特定模型的解决方案，目前仅适用于 gpt-4o、gpt-4o-mini 和更高版本的模型。
OpenAI 结构化输出功能可确保 AI 模型生成的响应符合所提供的 JSON Schema。这解决了 AI 驱动的应用程序中的几个常见难题：
类型安全：不再担心缺少必填 KEY 或枚举值无效； 明确拒绝：基于安全性的模型拒绝变得可以通过编程检测到； 简化的提示：实现一致的格式化，而无需使用过于具体的 Prompt（提示）。 Spring AI 允许开发人员以最少的配置利用这一功能。接下来看看如何在 Spring 应用中使用它。
编程式配置 你可以使用 OpenAiChatOptions Builder 以编程式设置响应格式，如下所示：
String jsonSchema = """ { "type": "object", "properties": { "steps": { "type": "array", "items": { "type": "object", "properties": { "explanation": { "type": "string" }, "output": { "type": "string" } }, "required": ["explanation", "output"], "additionalProperties": false } }, "final_answer": { "type": "string" } }, "required": ["steps", "final_answer"], "additionalProperties": false } """; Prompt prompt = new Prompt("how can I solve 8x + 7 = -23", OpenAiChatOptions.
更快的信息处理速度不仅能提供信息，还能改变我们的认知和创新方式。
Spring AI 是一个强大的框架，用于将 AI 能力集成到 Spring 应用中，现在已支持 Groq - 一个运行速度极快的 AI 推理引擎，并支持工具/函数调用。
利用 Groq 的 OpenAI 兼容 API，Spring AI 通过调整其现有的 OpenAI Chat 客户端实现了无缝集成。这种方法使开发人员能够通过熟悉的 Spring AI API 利用 Groq 的高性能模型。
本文将带你了解如何配置和使用 Spring AI OpenAI 聊天客户端与 Groq 进行连接。详细信息请查阅 Spring AI Groq 文档 和相关 测试。
Groq API Key 要与 Groq 交互，你需要从 https://console.groq.com/keys 获取 Groq API Key。
依赖 将 Spring AI OpenAI Starter 添加到项目中。
<dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-openai-spring-boot-starter</artifactId> </dependency> 对于 Gradle，在 build.gradle 中添加以下内容：
本周早些时候，Ollama 推出 了一项令人兴奋的新功能：对大型语言模型（LLM）的工具支持。
今天，我们非常高兴地宣布 Spring AI（1.0.0-SNAPSHOT）已完全支持这一强大功能，将 Ollama 的函数调用功能引入 Spring 生态系统。
Ollama 的工具支持允许模型决定何时调用外部函数以及如何使用返回的数据。这为访问实时信息到执行复杂计算等各种可能性打开了大门。Spring AI 采用了这一概念，并将其与 Spring 生态系统无缝集成，使 Java 开发人员能够非常轻松地在其应用程序中利用这一功能。Spring AI 的 Ollama 函数调用支持的主要功能包括：
轻松集成：将 Java 函数注册为 Spring Bean，并与 Ollama 模型一起使用。 灵活配置：多种注册和配置函数的方法。 支持多种函数：在一个聊天会话中注册和使用多种函数。 运行时函数选择：动态选择为每个提示（Prompt）启用哪些函数。 代码可移植性：使用不同的 LLM 提供商（如 OpenAI、Mistral、VertexAI、Anthropic、Groq），无需修改代码即可重复使用你的应用代码。 工作原理 定义自定义 Java 函数并将其注册到 Spring AI。
执行可能需要调用函数才能完成回答的聊天请求。
当 AI 模型确定需要调用一个函数时，它会生成一个包含函数名称和参数的 JSON 对象。
Spring AI 会拦截该请求，调用你的 Java 函数，并将结果返回给模型。
该模型将函数的输出纳入其响应中。
入门 先决条件 首先需要在本地计算机上运行 Ollama（0.2.8 以上）。请参阅官方的 Ollama 项目 README，开始在本地计算机上运行模型。然后调出支持模型的工具，例如 Llama 3.1、Mistral、Firefunction v2、Command-R +。。。支持的模型列表可在 模型页面的工具类别 下找到。
ollama pull mistral 依赖 要开始在 Spring AI 中使用 Ollama 函数调用，请在项目中添加以下依赖：
1、概览 在本教程中，我们将使用 Spring AI 框架和 RAG（检索增强生成）技术构建一个 ChatBot（聊天机器人）。在 Spring AI 的加持下，我们将与 Redis Vector（向量）数据库集成，以存储和检索数据，从而增强 LLM（大型语言模型）的提示功能。一旦 LLM 接收到包含相关数据的提示，它就会有效地用自然语言生成带有最新数据的响应，以回应用户的查询。
2、RAG 是什么？ LLM 是根据互联网上的大量数据集预先训练的机器学习模型。要使 LLM 在私营企业中发挥作用，我们必须根据特定组织的知识库对其进行微调。然而，微调通常是一个耗时的过程，需要大量的计算资源。此外，经过微调的 LLM 很有可能会对查询生成不相关或误导性的响应。这种行为通常被称为 LLM 幻觉（LLM Hallucinations）。
在这种情况下，RAG 是一种优秀的技术，用于限制或将 LLM 的响应置于特定上下文中。向量数据库在 RAG 架构中发挥着重要作用，为 LLM 提供上下文信息。但是，在 RAG 架构中使用矢量（向量）数据库之前，应用必须通过 ETL（提取、转换和加载）流程对其进行填充：
Reader 从不同源检索组织的知识库文档。然后，Transformer（转换器）将检索到的文档分割成小块，并使用嵌入模型对内容进行矢量化。最后，Writer 将向量或 Embedding 加载到向量数据库。向量数据库是专门的数据库，可以在多维空间中存储这些 Embedding。
在 RAG 中，如果矢量数据库定期从组织的知识库中更新，那么 LLM 就能对几乎实时的数据做出响应。
一旦矢量数据库中的数据准备就绪，应用就可以使用它来检索用户查询的上下文数据：
应用将用户查询与矢量数据库中的上下文数据相结合形成提示，最后将其发送给 LLM。LLM 在上下文数据的范围内用自然语言生成回复，并将其发送回应用。
3、使用 Spring AI 和 Redis 实现 RAG Redis Stack 提供矢量搜索服务，我们将使用 Spring AI 框架与之集成，并构建一个基于 RAG 的 ChatBot（聊天机器人）应用。此外，我们还要使用 OpenAI 的 GPT-3.
1、简介 本文将带你了解如何格式化 Spring AI 的输出结构，使其更易于使用且更加直观。
2、聊天模型简介 ChatModel 接口是向 AI 模型发出提示的基本结构：
public interface ChatModel extends Model<Prompt, ChatResponse> { default String call(String message) { // 忽略实现。。。 } @Override ChatResponse call(Prompt prompt); } call() 方法的作用是向模型发送消息并接收响应，仅此而已。
自然而然地，我们期望提示和响应是 String 类型。然而，现代模型的实现通常具有更复杂的结构，可以进行更精细的调整，提高模型的可预测性。例如，虽然可用的默认 call() 方法接受 String 参数，但更实用的做法是使用 Prompt。Prompt 可以包含多个消息或包括诸如 “温度” 之类的选项，以调节模型的表现力。
我们可以自动装配 ChatModel 并直接调用它。例如，如果我们的依赖中有用于 OpenAI API 的 spring-ai-openai-spring-boot-starter，那么就会自动注入 OpenAI 的实现 OpenAiChatModel。
3、结构化输出 API 要获得数据结构化的输出，Spring AI 提供了使用结构化输出 API 封装 ChatModel 调用的工具。此 API 的核心接口是 StructuredOutputConverter（结构化输出转换器）：
public interface StructuredOutputConverter<T> extends Converter<String, T>, FormatProvider {} 它结合了另外两个接口，第一个是 FormatProvider：
Open AI 和 Spring AI 简介 当 OpenAI 发布 ChatGPT 时，它在全球掀起了一场风暴。这是第一次有语言模型能够根据提示生成类似人类的回答。此后，OpenAI 又发布了其他几个模型，包括可以根据文字提示生成图像的 DALL-E。
Spring AI 是一个 Java 库，为与 LLM 模型交互提供了一个简单易用的接口。Spring AI 提供了与各种 LLM（如 Open AI、Azure Open AI、Hugging Face、Google Vertex、Ollama、Amazon Bedrock 等）交互的高级抽象。
本文将带你了解如何使用 Spring AI 与 Open AI 能进行交互。
首先，需要在 OpenAI 上创建账户并获取 API Key。
访问 OpenAI Platform 并创建账户。 在控制面板中，点击左侧导航菜单中的 API Keys，创建一个新的 API Key。 如果你是新用户，你可能会获得一些免费点数来使用 OpenAI API。否则，你需要购买点数才能使用 OpenAI API。
获得 API KEY 后，把它添加到环境变量 OPENAI_API_KEY 中。
export OPENAI_API_KEY=<your-api-key> 创建 Spring AI 项目 使用 Spring Initializr 创建一个新的 Spring Boot 项目。
本文主要介绍以下内容：
嵌入式模型简介。 使用 DocumentReader 加载数据。 在 VectorStore 中存储 Embedding。 实现 RAG（Retrieval-Augmented Generation，检索增强生成），又名 Prompt Stuffing。 你可以在 GitHub 中找到本文的示例代码
大型语言模型（LLM），如 OpenAI、Azure Open AI、Google Vertex 等，都是在大型数据集上训练出来的。但这些模型并不是在你的私人数据上训练出来的，因此它们可能无法回答你所在领域的特定问题。但是，在你的私人数据上训练模型可能既昂贵又耗时。那么，我们该如何使用这些 LLM 来回答我们领域的特定问题呢？
其中一种方法是使用 RAG（Retrieval-Augmented Generation，检索增强生成），又称 Prompt Stuffing（提示填充）。使用 RAG，从数据存储中检索相关文档，并将其传递给 LLM 以生成答案。在这一过程中，使用嵌入模型将文档转换为 Embedding，并将其存储到向量数据库中。
了解检索增强生成（RAG） 你可能在关系数据库中存储结构化数据，在 NoSQL 数据库中存储非结构化数据，甚至在文件中存储结构化数据。你能够使用 SQL 有效地查询关系数据库，使用 NoSQL 数据库的查询语言有效地查询 NoSQL 数据库。你还可以使用 Elasticsearch、Solr 等全文搜索引擎来查询非结构化数据。
不过，你可能希望使用具有语义的自然语言检索数据。
例如，“我喜欢 Java 编程语言” 和 “Java 始终是我的首选语言” 具有相同的语义，但使用了不同的词语。尝试使用准确的词语检索数据可能不会有效。
这就是 Embedding 的作用所在。Embedding 是单词、句子或文档的向量表示。你可以通过这些 Embedding，使用自然语言检索数据。
你可以将结构化和非结构化数据转换为 Embedding，并将其存储在向量数据库中。然后，你可以使用自然语言查询向量数据库并检索相关数据。然后，你可以通过相关数据查询 AI 模型，以获得响应。
检索增强生成（RAG）是在生成响应之前，通过使用训练数据之外的额外知识库来优化 LLM 输出的过程。
Embedding API Embedding API 可以将单词、句子、文档或图像转换为 Embedding 。Embedding 是单词、句子或文档的向量表示。
