MariaDB 向量存储

本站(springdoc.cn)中的内容来源于 spring.io ,原始版权归属于 spring.io。由 springdoc.cn 进行翻译,整理。可供个人学习、研究,未经许可,不得进行任何转载、商用或与之相关的行为。 商标声明:Spring 是 Pivotal Software, Inc. 在美国以及其他国家的商标。

本节将指导你设置 MariaDBVectorStore 用于存储文档嵌入并执行相似性搜索。

MariaDB Vector 是 MariaDB 11.7 的一部分,支持存储和搜索机器学习生成的嵌入。它通过向量索引提供高效的向量相似性搜索能力,同时支持余弦相似度和欧几里得距离度量标准。

先决条件

自动配置

Spring AI 自动配置及 Starter 模块的构件名称发生重大变更。请参阅 升级说明 获取更多信息。

Spring AI 为 MariaDB 向量存储(Vector Store)提供了 Spring Boot 自动配置。要启用该功能,请在你的项目 Maven pom.xml 文件中添加以下依赖:

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-vector-store-mariadb</artifactId>
</dependency>

或添加到你的 Gradle build.gradle 构建文件中。

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-vector-store-mariadb'
}
参考 “依赖管理” 章节,将 Spring AI BOM 添加到你的构建文件中。

向量存储实现可以为你初始化所需 Schema,但你必须通过以下方式选择启用:在适当的构造函数中指定 initializeSchema 布尔值,或在 application.properties 文件中设置 …​initialize-schema=true

这是一个重大变更!在早期版本的 Spring AI 中,此 Schema 初始化默认自动执行。

此外,你需要一个配置好的 EmbeddingModel Bean。有关详细信息,请参阅 EmbeddingModel 部分。

例如,要使用 OpenAI EmbeddingModel,请添加以下依赖:

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>
参考 “Artifact 仓库” 部分,将 Maven Central 和/或 Snapshot Repositories 添加到你的构建文件中。

现在你可以在应用中自动注入 MariaDBVectorStore

@Autowired VectorStore vectorStore;

// ...

List<Document> documents = List.of(
    new Document("Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!! Spring AI rocks!!", Map.of("meta1", "meta1")),
    new Document("The World is Big and Salvation Lurks Around the Corner"),
    new Document("You walk forward facing the past and you turn back toward the future.", Map.of("meta2", "meta2")));

// Add the documents to MariaDB
vectorStore.add(documents);

// Retrieve documents similar to a query
List<Document> results = vectorStore.similaritySearch(SearchRequest.builder().query("Spring").topK(5).build());

配置属性

要连接 MariaDB 并使用 MariaDBVectorStore,你需要提供实例的访问详细信息。可通过 Spring Boot 的 application.yml 提供简单配置:

spring:
  datasource:
    url: jdbc:mariadb://localhost/db
    username: myUser
    password: myPassword
  ai:
    vectorstore:
      mariadb:
        initialize-schema: true
        distance-type: COSINE
        dimensions: 1536
如果你通过 Docker ComposeTestcontainers 将 MariaDB Vector 作为 Spring Boot 开发服务运行,则无需配置 URL、用户名和密码,因为这些会由 Spring Boot 自动配置。

spring.ai.vectorstore.mariadb.* 开头的属性用于配置 MariaDBVectorStore

属性 说明 默认值

spring.ai.vectorstore.mariadb.initialize-schema

是否初始化所需 Schema。

false

spring.ai.vectorstore.mariadb.distance-type

搜索距离类型。使用 COSINE(默认)或 EUCLIDEAN。若向量已归一化为单位长度,使用 EUCLIDEAN 可获得最佳性能。

COSINE

spring.ai.vectorstore.mariadb.dimensions

嵌入维度。若未显式指定,将从提供的 EmbeddingModel 自动获取维度值。

1536

spring.ai.vectorstore.mariadb.remove-existing-vector-store-table

Deletes the existing vector store table on startup.

false

spring.ai.vectorstore.mariadb.schema-name

向量存储 Schema 名称

null

spring.ai.vectorstore.mariadb.table-name

向量存储表名称

vector_store

spring.ai.vectorstore.mariadb.schema-validation

启用 Schema 和表名称验证,确保它们是有效且已存在的对象。

false

如果配置了自定义 Schema 和/或表名称,建议通过设置 spring.ai.vectorstore.mariadb.schema-validation=true 启用 Schema 验证。这可确保名称的正确性并降低 SQL 注入攻击的风险。

手动配置

若不使用 Spring Boot 自动配置,可手动配置 MariaDB 向量存储。为此需在项目中添加以下依赖:

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>

<dependency>
    <groupId>org.mariadb.jdbc</groupId>
    <artifactId>mariadb-java-client</artifactId>
    <scope>runtime</scope>
</dependency>

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-mariadb-store</artifactId>
</dependency>
参考 “依赖管理” 章节,将 Spring AI BOM 添加到你的构建文件中。

随后通过 Builder 模式创建 MariaDBVectorStore Bean:

@Bean
public VectorStore vectorStore(JdbcTemplate jdbcTemplate, EmbeddingModel embeddingModel) {
    return MariaDBVectorStore.builder(jdbcTemplate, embeddingModel)
        .dimensions(1536)                      // Optional: defaults to 1536
        .distanceType(MariaDBDistanceType.COSINE) // Optional: defaults to COSINE
        .schemaName("mydb")                    // Optional: defaults to null
        .vectorTableName("custom_vectors")     // Optional: defaults to "vector_store"
        .contentFieldName("text")             // Optional: defaults to "content"
        .embeddingFieldName("embedding")      // Optional: defaults to "embedding"
        .idFieldName("doc_id")                // Optional: defaults to "id"
        .metadataFieldName("meta")           // Optional: defaults to "metadata"
        .initializeSchema(true)               // Optional: defaults to false
        .schemaValidation(true)              // Optional: defaults to false
        .removeExistingVectorStoreTable(false) // Optional: defaults to false
        .maxDocumentBatchSize(10000)         // Optional: defaults to 10000
        .build();
}

// This can be any EmbeddingModel implementation
@Bean
public EmbeddingModel embeddingModel() {
    return new OpenAiEmbeddingModel(new OpenAiApi(System.getenv("OPENAI_API_KEY")));
}

元数据过滤

你可以通过 MariaDB 向量存储使用通用的、可移植的 元数据过滤器

例如,可以使用以下文本表达式语言:

vectorStore.similaritySearch(
    SearchRequest.builder()
        .query("The World")
        .topK(TOP_K)
        .similarityThreshold(SIMILARITY_THRESHOLD)
        .filterExpression("author in ['john', 'jill'] && article_type == 'blog'").build());

或者通过 Filter.Expression DSL 以编程方式实现:

FilterExpressionBuilder b = new FilterExpressionBuilder();

vectorStore.similaritySearch(SearchRequest.builder()
    .query("The World")
    .topK(TOP_K)
    .similarityThreshold(SIMILARITY_THRESHOLD)
    .filterExpression(b.and(
        b.in("author", "john", "jill"),
        b.eq("article_type", "blog")).build()).build());
这些过滤器表达式会自动转换为等效的 MariaDB JSON Path 表达式。

访问原生客户端

MariaDB 向量存储实现通过 getNativeClient() 方法提供对底层原生 JDBC 客户端(JdbcTemplate)的访问:

MariaDBVectorStore vectorStore = context.getBean(MariaDBVectorStore.class);
Optional<JdbcTemplate> nativeClient = vectorStore.getNativeClient();

if (nativeClient.isPresent()) {
    JdbcTemplate jdbc = nativeClient.get();
    // Use the native client for MariaDB-specific operations
}

原生客户端可让你访问 MariaDB 特有功能及操作,这些可能未通过 VectorStore 接口暴露。