Reč a zvuk

konverzia hlasu

Anglický výraz voice conversion

pokročiléheslo č. 7895 otázok a odpovedí2 odborné zdroje

Presná definícia

Čo znamená konverzia hlasu?

Konverzia hlasu mení hlasové charakteristiky existujúcej nahrávky pri snahe zachovať jej lingvistický obsah a časovanie. Cieľom môže byť iný hovoriaci, štýl alebo doména. Na rozdiel od TTS vychádza z už vyslovenej reči a môže preniesť aj rytmus, emóciu či chyby zdroja.

Skúsenosť a kontext

Ako sa pojem používa v praxi

Dabing konvertuje hereckú nahrávku na licencovaný hlas postavy, pričom zachová výkon zdrojového herca. Súhlas a povolený účel sú evidované, výstup označený a nemožno zadať ľubovoľnú reálnu identitu. Editor kontroluje slová, timbre aj artefakty.

Overiteľnosť

Odborné zdroje

  1. AutoVC: Zero-Shot Voice Style Transfer with Only Autoencoder Lossarxiv.org
  2. Transfer Learning from Speaker Verification to Multispeaker TTSarxiv.org

Praktické odpovede

Často kladené otázky

Ako funguje konverzia hlasu?

Encoder oddelí obsah od speaker alebo style reprezentácie a decoder s cieľovým embeddingom rekonštruuje akustické prvky alebo vlnu.

Kedy má konverzia hlasu praktický význam?

Dabing konvertuje hereckú nahrávku na licencovaný hlas postavy, pričom zachová výkon zdrojového herca.

S čím si pojem nezamieňať?

Voice cloning generuje nový text hlasom referencie; voice conversion transformuje konkrétnu už existujúcu rečovú nahrávku.

Ako sa výsledok kontroluje?

Meria sa speaker similarity cieľu, zachovanie obsahu cez WER, prirodzenosť, prozódia, F0 a identita zdroja.

Na čo si dať pozor?

Model môže nechcene zachovať zdrojovú identitu alebo zmeniť slovo a realistická konverzia umožňuje klamlivé napodobnenie.