Benchmarks
Comparaisons reproductibles de modèles sur des tâches et matériels frugaux.
Reconnaissance automatique de la parole (ASR) en langues africaines
wohayosw
Comparaison de modèles ASR ouverts sur le sous-ensemble africain de FLEURS (Wolof, Haoussa, Yoruba, Swahili), avec contrainte mémoire < 2 Go RAM et latence < 3 s sur Snapdragon 439.
| # | Modèle | Métrique | Valeur |
|---|---|---|---|
| 🥇 | Whisper Small (INT8) Meilleur | WER | 11.2 % |
| 🥈 | MMS-300M (INT8) | WER | 13.4 % |
| 🥉 | wav2vec2-XLSR-53 (FP32) | WER | 16.8 % |
| 4 | Whisper Tiny (INT8) | WER | 19.1 % |