Mistral AI Lança Modelo de Voz Open-Source Voxtral TTS
Pontos principais
- A Mistral AI lança o Voxtral TTS, um modelo de texto-para-fala open-source.
- Suporta nove idiomas, incluindo inglês, francês, alemão, espanhol, holandês, português, italiano, hindi e árabe.
- Adaptação de voz personalizada requer menos de cinco segundos de áudio.
- Funciona em dispositivos de borda, como smartwatches, smartphones e laptops.
- Tempo-para-primeiro-áudio de 90 ms e um fator de tempo real de 6× para renderização rápida.
- Visa competir com ElevenLabs, Deepgram e OpenAI em soluções de voz empresariais.
- Parte do plano mais amplo da Mistral para uma plataforma de IA multimodal de ponta a ponta.
Mistral AI, uma empresa francesa de inteligência artificial, introduziu o Voxtral TTS, um modelo de texto-para-fala open-source projetado para desempenho em tempo real em dispositivos de borda. O modelo suporta nove idiomas, pode ser personalizado com uma amostra de voz de menos de cinco segundos e entrega um tempo-para-primeiro-áudio de 90 ms com um fator de tempo real de 6×. A Mistral posiciona o modelo como uma alternativa de baixo custo e alta qualidade para assistentes de voz empresariais, dublagem e tradução em tempo real, competindo diretamente com jogadores estabelecidos como ElevenLabs, Deepgram e OpenAI.
Introdução
A Mistral AI, uma empresa francesa de inteligência artificial, anunciou o lançamento do Voxtral TTS, um modelo de texto-para-fala open-source. O modelo é construído para funcionar em uma variedade de dispositivos de borda, desde smartwatches até laptops, oferecendo uma solução rentável para empresas que buscam aplicações habilitadas para voz.
Capacidades Multilíngues
O Voxtral TTS suporta nove idiomas, incluindo inglês, francês, alemão, espanhol, holandês, português, italiano, hindi e árabe. O modelo pode alternar entre idiomas sem perder as características distintas de uma voz personalizada, tornando-o adequado para cenários de dublagem e tradução em tempo real.
Personalização e Fidelidade de Voz
O sistema pode adaptar uma voz personalizada usando uma amostra de menos de cinco segundos. Ele captura sutis acentos, inflexões, entonações e irregularidades, visando um som humano em vez de um tom robótico.
Métricas de Desempenho
Projetado para uso em tempo real, o Voxtral TTS alcança um tempo-para-primeiro-áudio (TTFA) de 90 ms para uma entrada de 10 segundos e 500 caracteres. Seu fator de tempo real (RTF) de 6× significa que um clipe de 10 segundos é renderizado em aproximadamente 1,6 segundos.
Posicionamento Estratégico
Ao oferecer um modelo open-source e personalizável, a Mistral busca atrair empresas que desejam ajustar a tecnologia de voz às suas necessidades específicas. A empresa destaca o baixo custo do modelo em comparação com soluções concorrentes e sua adequação para integração em uma plataforma multimodal mais ampla que processa áudio, texto e imagens.
Perspectiva Futura
A Mistral lançou anteriormente modelos de transcrição para processamento em lote e em tempo real de baixa latência. Com o Voxtral TTS, a empresa busca fornecer uma suite completa de produtos de voz, posicionando-se contra concorrentes como ElevenLabs, Deepgram e OpenAI, enquanto enfatiza uma plataforma de ponta a ponta para aplicações de IA multimodal.