OpenAI 文本转语音（TTS）API

本站(springdoc.cn)中的内容来源于 spring.io ，原始版权归属于 spring.io。由 springdoc.cn 进行翻译，整理。可供个人学习、研究，未经许可，不得进行任何转载、商用或与之相关的行为。 商标声明：Spring 是 Pivotal Software, Inc. 在美国以及其他国家的商标。

简介

音频 API 提供基于 OpenAI 的 TTS（文本到语音）模型的语音端点，使用户能够

  • 叙述一篇书面博文。

  • 以多种语言制作口语音频。

  • 使用流媒体提供实时音频输出。

先决条件

  1. 创建 OpenAI 账户并获取 API 密钥。你可以在 OpenAI 注册页面 注册，并在 API 密钥页面 生成 API 密钥。

  2. 在项目的构建文件中添加 spring-ai-openai 依赖。有关详细信息，请参阅 依赖管理 部分。

自动配置

Spring AI 自动配置、Starter 模块的工件名称发生了重大变化。更多信息请参阅 升级说明。

Spring AI 为 OpenAI 文本转语音客户端提供 Spring Boot 自动配置支持。启用该功能需在项目的 Maven pom.xml 文件中添加以下依赖：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

或 Gradle build.gradle 构建文件：

dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-openai'
}
请参阅 “依赖管理” 部分，将 Spring AI BOM 添加到构建文件中。

语音属性

连接属性

属性前缀 spring.ai.openai 用于连接 OpenAI。

属性

说明

默认值

spring.ai.openai.base-url

要连接到的 URL

api.openai.com

spring.ai.openai.api-key

API Key

-

spring.ai.openai.organization-id

可指定 API 请求所使用的组织机构

-

spring.ai.openai.project-id

可指定 API 请求使用哪个项目。

-
对于属于多个组织的用户（或通过旧版用户 API Key 访问项目的用户），可选择性地指定 API 请求使用的组织和项目。这些 API 请求的使用量将计入指定组织和项目。

配置属性

音频语音自动配置的启用/禁用现在统一通过顶级属性配置，前缀为 spring.ai.model.audio.speech。

启用配置：spring.ai.model.audio.speech=openai（默认已启用）

禁用配置：spring.ai.model.audio.speech=none（或任意非 openai 值）

此项变更是为了支持多模型配置。

属性前缀 spring.ai.openai.audio.speech 用于配置 OpenAI 文本转语音客户端。

属性 说明 默认

spring.ai.model.audio.speech

启用音频语音模型

openai

spring.ai.openai.audio.speech.base-url

要连接到的 URL

api.openai.com

spring.ai.openai.audio.speech.api-key

API Key

-

spring.ai.openai.audio.speech.organization-id

指定 API 请求所使用的机构

-

spring.ai.openai.audio.speech.project-id

指定 API 请求使用哪个项目

-

spring.ai.openai.audio.speech.options.model

用于生成音频的模型 ID。对于 OpenAI 的 TTS API，请使用以下可用模型之一：tts-1 或 tts-1-hd

tts-1

spring.ai.openai.audio.speech.options.voice

用于合成的声音。对于 OpenAI 的 TTS API，所选模型的可用语音之一：alloy、echo、fable、onyx、nova 和 shimmer

alloy

spring.ai.openai.audio.speech.options.response-format

音频输出的格式。支持的格式有 mp3、opus、aac、flac、wav 和 pcm

mp3

spring.ai.openai.audio.speech.options.speed

语音合成的速度。可接受的范围从 0.25（最慢）到 4.0（最快）

1.0
你可以覆盖常用的 spring.ai.openai.base-url、spring.ai.openai.api-key、spring.ai.openai.organization-id 和 spring.ai.openai.project-id 属性。如果设置了 spring.ai.openai.audio.speech.base-url、spring.ai.openai.audio.speech.api-key、spring.ai.openai.audio.speech.organization-id 和 s`pring.ai.openai.audio.speech.project-id` 属性，它们将优先于普通属性。如果要为不同的模型和不同的模型端点使用不同的 OpenAI 账户，这将非常有用。
所有以 spring.ai.openai.image.options 为前缀的属性都可以在运行时重写。

运行时选项

OpenAiAudioSpeechOptions 类提供了文本到语音请求时使用的选项。启动时，将使用 spring.ai.openai.audio.speech 指定的选项，但你可以在运行时覆盖这些选项。

For example:

OpenAiAudioSpeechOptions speechOptions = OpenAiAudioSpeechOptions.builder()
    .model("tts-1")
    .voice(OpenAiAudioApi.SpeechRequest.Voice.ALLOY)
    .responseFormat(OpenAiAudioApi.SpeechRequest.AudioResponseFormat.MP3)
    .speed(1.0f)
    .build();

SpeechPrompt speechPrompt = new SpeechPrompt("Hello, this is a text-to-speech example.", speechOptions);
SpeechResponse response = openAiAudioSpeechModel.call(speechPrompt);

手动配置

在项目的 Maven pom.xml 文件中添加 spring-ai-openai 依赖：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai</artifactId>
</dependency>

或 Gradle build.gradle 构建文件：

dependencies {
    implementation 'org.springframework.ai:spring-ai-openai'
}
请参阅 “依赖管理”部分，将 Spring AI BOM 添加到构建文件中。

接着，创建 OpenAiAudioSpeechModel：

var openAiAudioApi = new OpenAiAudioApi()
    .apiKey(System.getenv("OPENAI_API_KEY"))
    .build();

var openAiAudioSpeechModel = new OpenAiAudioSpeechModel(openAiAudioApi);

var speechOptions = OpenAiAudioSpeechOptions.builder()
    .responseFormat(OpenAiAudioApi.SpeechRequest.AudioResponseFormat.MP3)
    .speed(1.0f)
    .model(OpenAiAudioApi.TtsModel.TTS_1.value)
    .build();

var speechPrompt = new SpeechPrompt("Hello, this is a text-to-speech example.", speechOptions);
SpeechResponse response = openAiAudioSpeechModel.call(speechPrompt);

// Accessing metadata (rate limit info)
OpenAiAudioSpeechResponseMetadata metadata = response.getMetadata();

byte[] responseAsBytes = response.getResult().getOutput();

实时音频流

Speech API 支持使用块（chunk）传输编码的实时音频流。这意味着，在生成完整文件并可访问之前，就可以播放音频。

var openAiAudioApi = new OpenAiAudioApi()
    .apiKey(System.getenv("OPENAI_API_KEY"))
    .build();

var openAiAudioSpeechModel = new OpenAiAudioSpeechModel(openAiAudioApi);

OpenAiAudioSpeechOptions speechOptions = OpenAiAudioSpeechOptions.builder()
    .voice(OpenAiAudioApi.SpeechRequest.Voice.ALLOY)
    .speed(1.0f)
    .responseFormat(OpenAiAudioApi.SpeechRequest.AudioResponseFormat.MP3)
    .model(OpenAiAudioApi.TtsModel.TTS_1.value)
    .build();

SpeechPrompt speechPrompt = new SpeechPrompt("Today is a wonderful day to build something people love!", speechOptions);

Flux<SpeechResponse> responseStream = openAiAudioSpeechModel.stream(speechPrompt);

示例代码

OpenAiSpeechModelIT.java 测试提供了一些如何使用该库的一般示例。