Nous annonçons les publications delta pour Mozilla Common Voice !

À partir d’octobre 2022, nous fournirons le téléchargement de versions delta en plus du téléchargement de jeux de données en version complète.

Qu’est-ce qu’une version delta ? Imaginons que vous ayez téléchargé Common Voice 10 pour le catalan, un téléchargement total de 49 Go, que Common Voice 11 soit maintenant disponible et que vous souhaitiez obtenir toutes ces nouvelles données. Une version delta vous permet de télécharger uniquement les nouvelles données, c’est-à-dire la différence entre la version Common Voice 10 et la version 11.

Pourquoi faites-vous cela ? Nous avons reçu de nombreux retours de la communauté indiquant que les téléchargements volumineux posaient problème à de nombreux utilisateurs, utilisatrices, développeurs et développeuses souhaitant utiliser les jeux de données. La taille du fichier peut prendre beaucoup de temps à télécharger pour les personnes ayant des connexions lentes et le téléchargement d’une grande quantité de données peut également être difficile sur des connexions instables. Pour beaucoup de membres de notre communauté, devoir télécharger des échantillons qu’ils possèdent déjà dans la version précédente est coûteux et inutile.

Proposerez-vous des delta entre toutes les versions ? Nous proposerons des versions delta entre l’avant-dernière et la dernière version sur une base continue. Ainsi, à un moment donné après la prochaine version (Common Voice 11 en octobre), nous mettrons à disposition la version delta entre les versions 10 et 11. Lors de la publication suivante (Common Voice 12), nous mettrons à disposition la version delta entre les versions 11 et 12, et ainsi de suite.

Quand les versions delta seront-elles disponibles ? La première version delta sortira entre la mi-octobre et la fin octobre. Nous vous tiendrons au courant !

À quoi ressemblent les données ? Il s’agit exactement du même format que la version complète, seuls les fichiers TSV et le répertoire clips/ contiennent les nouvelles données, et non pas toutes les données.

Seront-elles divisées de la même manière ? Les versions delta ne seront pas divisées. Selon votre cas d’utilisation, vous pouvez choisir d’ajouter toutes les données à votre ensemble d’apprentissage, ou vous pouvez fusionner avec la version précédente et utiliser CorporaCreator pour créer une version qui sera identique à la version complète de Common Voice 11.

Pouvons-nous toujours accéder aux anciennes versions du jeu de données ?

Oui, mais la façon dont vous y accédez changera. Vous pourrez télécharger le dernier jeu de données, celui d’avant, et le delta des échantillons entre les deux. Nous ne proposerons plus le téléchargement des versions les plus anciennes de MCV directement depuis la plateforme, mais vous pouvez toujours nous envoyer un e-mail pour accéder à une version plus ancienne du jeu de données. Cela fait partie de notre engagement à réfléchir à l’impact environnemental de notre plateforme.

N’hésitez pas à poser toutes les questions que vous pourriez avoir sur les versions delta sur Discourse ou Matrix et l’équipe s’efforcera d’y répondre.