testes iniciais com xtts para treino

O que combinamos de fazer para essa semana:

• Rodar o treinamento do F5tts com pesos aleatórios e verificar a curva de perda
• Ajuste fino utilizando o XTTS
• Selecionar mais modelos para começar a fazer ajuste fino

Contexto

O que combinamos de fazer para essa semana:

• Rodar o F5-TTS com pesos aleatórios para verificar se a curva de perda faz sentido.
• Testar a sintetização no XTTS com os áudios infer1.wav e infer2.wav.

F5-TTS com pesos aleatórios (sanity check)

Os gráficos mostram que, mesmo com pesos aleatórios, a perda cai no começo, sugerindo que o pipeline/otimizador está se comportando como esperado.

Figura: f5tts_loss.png.

Figura: f5tts_loss_by_epoch.png.

XTTS — teste de sintetização

Gráfico de perda do treino:

Figura: xtts_training_loss_from_trainer_logs.png.

Inferências (texto | áudio)

Texto	Áudio
O céu de campina grande ficou alaranjado no fim da tarde
A cidade de campina grande realmente é grande

Próximos passos / notas

• Acredito que a pronúncia está ruim por conta de problemas com UTF-8, algo que pretendo corrigir.
• Também pretendo adicionar outros modelos para o finetune.