Android basic TTS engine из аудиофайла
У меня есть mp3-файл hello. mp3. я упаковываю mp3 в FileInputStream и преобразую входной поток в байты, а затем толкаю байты в SynthesisCallback.audioAvailable (байты, смещение, длина) но это приводит к просто шуму.Файл hello. mp3 воспроизводится просто отлично, если я загружаю его на свой Android Music play.
Почему это не работает, когда я передаю байты из файла в SnthesisCallback? Я вставил свой код ниже.
Именно здесь я генерирую аудиопоток из mp3 файл:
class AudioStream {
InputStream stream;
int length;
}
private AudioStream getAudioStream(String text) throws IOException {
// TODO parse text, and generate audio file.
File hello = new File(Environment.getExternalStorageDirectory(), "hello.mp3");
AudioStream astream = new AudioStream();
astream.length = hello.length();
astream.stream = new FileInputStream(hello);
return astream;
}
Это мой метод Inputstream to byte [].
public byte[] inputStreamToByteArray(AudioStream inStream) throws IOException {
ByteArrayOutputStream baos = new ByteArrayOutputStream();
byte[] buffer = new byte[inStream.length];
int bytesRead;
while ((bytesRead = inStream.stream.read(buffer)) > 0) {
baos.write(buffer, 0, bytesRead);
}
return baos.toByteArray();
}
Это мой метод onSynthesizeText
в моем классе TextToSpeechService
.
@Override
protected synchronized void onSynthesizeText(SynthesisRequest request,
SynthesisCallback callback) {
// TODO load language and other checks.
// At this point, we have loaded the language
callback.start(16000,
AudioFormat.ENCODING_PCM_16BIT, 1 /* Number of channels. */);
final String text = request.getText().toLowerCase();
try {
Log.i(TAG, "Getting audio stream for text "+text);
AudioStream aStream = getAudioStream(text);
byte[] bytes = inputStreamToByteArray(aStream);
final int maxBufferSize = callback.getMaxBufferSize();
int offset = 0;
while (offset < aStream.length) {
int bytesToWrite = Math.min(maxBufferSize, aStream.length - offset);
callback.audioAvailable(bytes, offset, bytesToWrite);
offset += bytesToWrite;
}
} catch (Exception e) {
e.printStackTrace();
callback.error();
}
// Alright, we're done with our synthesis - yay!
callback.done();
}
Вот как я тестирую свой синтез-двигатель-в процессе создания.
//initialize text speech
textToSpeech = new TextToSpeech(this, new OnInitListener() {
/**
* a callback to be invoked indicating the completion of the TextToSpeech
* engine initialization.
*/
@Override
public void onInit(int status) {
if (status == TextToSpeech.SUCCESS) {
int result = textToSpeech.setLanguage(Locale.US);
if (result == TextToSpeech.LANG_MISSING_DATA || result == TextToSpeech.LANG_NOT_SUPPORTED) {
Log.e("error", "Language is not supported");
} else {
convertToSpeech("Hello");
}
} else {
Log.e("error", "Failed to Initilize!");
}
}
/**
* Speaks the string using the specified queuing strategy and speech parameters.
*/
private void convertToSpeech(String text) {
if (null == text || "".equals(text)) {
return;
}
textToSpeech.speak(text, TextToSpeech.QUEUE_FLUSH, null);
}
});
1 ответ:
Функция
audioAvailable(byte[] buffer, int offset, int length)
ожидает выборки PCM в качестве входных данных. Вы не можете считать байты из файла .mp3 и использовать их в качестве входных данных для функции. Вы должны использовать .wav файл или первый конвертировать. mp3 файл в .wav-файл и использовать его в качестве входного сигнала для функцииaudioAvailable
.