Az Apple beszédből is felismerné a nyelvváltást
Az Apple kutatói olyan könnyű módszert mutattak be, amely közvetlenül a beszédből ismeri fel, ha egy megnyilatkozáson belül több nyelv váltakozik. A megoldás átírás nélkül használja a beszédmodellekben kódolt nyelvi információt.
- Az Apple kutatói átírás nélkül ismernék fel a beszéden belüli nyelvváltást.
- A módszer előtanított beszédkódolók nyelvszelektív dimenzióit használja.
- A Whisper-small encoder átlagos F1-értéke 0,798 volt 14 nyelvpáron.
- Az eljárás többnyelvű beszédkorpuszok összeállítását segítheti.
A nyelvváltás felismerése átírás nélkül
A kódváltás, vagyis a nyelvek váltakozása egy megnyilatkozáson belül gyakori jelenség a többnyelvű beszédben. Az Apple kutatói szerint ez a jelenség a beszédmodellek előtanításához használt korpuszokban kevésbé van jelen, ezért a megfelelő hanganyagok megtalálása fontos lépés lehet a többnyelvű adatkészletek bővítésében.
A vállalat októberben közzétett kutatása, a Code-Switching Detection via Language-Selective Dimensions in Speech Foundation Models, olyan eljárást ismertet, amely közvetlenül a hangból próbálja felismerni a kódváltást. A másik lehetséges megközelítés a beszéd előzetes átírása, majd a nyelvi váltások keresése a szövegben. Ez azonban pontos, többnyelvű átírást igényel.
Nyelvszelektív dimenziókat keresnek a modellben
A módszer előtanított beszédkódolókban vizsgálja a képkockánként, vagyis a beszéd rövid időszakaszaira vonatkozóan elérhető nyelvi információt. A kutatók egynyelvű felvételek segítségével azonosítják azokat a rejtett állapottérbeli dimenziókat, amelyek egyes nyelvekhez szelektíven kapcsolódnak.
Az ezekből származó, képkockánkénti aktivációkat ezután egyetlen kódváltási előrejelzéssé összesítik. A döntési szabály beállításához egy kisebb, kódváltást tartalmazó adatkészletet használnak. A megközelítés így nem igényli minden vizsgált hanganyag teljes, pontos többnyelvű átírását.
A tanulmány szerzői Jie Chi, Zakaria Aldeneh, Masha Fedzechkina, Maureen de Seyssel és Natalie Schluter. A kutatás az Apple gépi tanulással foglalkozó oldalán, a Methods and Algorithms, valamint a Speech and Natural Language Processing területén jelent meg.
A Whisper-small encoder eredményei
A CS-FLEURS adatkészleten, 14 nyelvpár vizsgálatában a Whisper-small encoder átlagos F1-értéke 0,798 volt. Összehasonlításként egy CNN 0,776-os, a monolingvális nyelvazonosításra tanított HuBERT lineáris alapmodellje pedig 0,751-es átlagos F1-értéket ért el.
Az F1-érték a kutatásban használt összehasonlítási mérőszám, amely a felismerés pontosságát és teljességét egyaránt figyelembe veszi. Az Apple szerint az eredmények arra utalnak, hogy az előtanított beszédkódolók már eleve tartalmazzák a kódváltó megnyilatkozások azonosításához szükséges információt.
Adatgyűjtéshez használható könnyű eszköz
A kutatás szerint az eljárás olyan eszközt adhat a fejlesztők kezébe, amellyel nagy beszédgyűjteményekben kereshetnek kódváltást tartalmazó megnyilatkozásokat. Ezek az anyagok többnyelvű beszédkorpuszok összeállításához és reprezentatívabb tanítóadatok létrehozásához használhatók.
Az Apple kutatási oldalán a témához kapcsolódó munkák között szerepel egy 2026. augusztus 20-án közzétett tanulmány is, amely iteratív álcímkézési megközelítést alkalmazott mandarin és angol nyelvváltó automatikus beszédfelismeréshez. Egy korábbi, 2022. május 23-i kutatás pedig angol és spanyol kódváltó beszéd gépi fordításával foglalkozott.
