Aankondiging: delta-releases op Mozilla Common Voice!
Vanaf oktober 2022 bieden we downloads voor delta-releases aan naast de downloads van de volledige release-gegevensset.
Wat is een delta-release? Stel u voor dat u Common Voice 10 voor Catalaans hebt gedownload, een totale downloadgrootte van 49 GB, en u nu Common Voice 11 is uitgebracht al die geweldige nieuwe gegevens wilt hebben. Met een delta-release kunt u alleen de nieuwe gegevens downloaden, dat wil zeggen het verschil tussen de Common Voice 10-release en de 11-release.
Waarom doen jullie dit? We hebben veel feedback van de gemeenschap gekregen dat de downloadgroottes een probleem waren voor veel gebruikers en ontwikkelaars die de gegevensset wilden gebruiken. De downloadgrootte kan lang duren voor mensen met langzame verbindingen en het downloaden van een grote hoeveelheid gegevens kan ook moeilijk zijn bij instabiele verbindingen. Voor velen in onze gemeenschap was het duur en verspillend om gedwongen te worden fragmenten te downloaden die ze al van de vorige release hadden.
Bieden jullie delta-releases aan tussen alle versies? We bieden op voortschrijdende basis delta-releases aan tussen de laatste versie en de nieuwste versie. Dus ergens na de volgende versie (Common Voice 11 in oktober) zullen we de delta tussen 10 en 11 beschikbaar stellen. Bij de versie die daarop volgt (Common Voice 12) zullen we de delta beschikbaar stellen tussen 11 en 12, enzovoort.
Wanneer zijn de delta-releases beschikbaar? De eerste delta-release komt tussen half en eind oktober uit. We houden u op de hoogte!
Hoe zien de gegevens eruit? Deze zijn in exact dezelfde opmaak als de volledige versie, alleen de TSV-bestanden en fragmenten/map bevatten alleen de nieuwe gegevens, niet alles.
Worden de gegevens op dezelfde manier gesplitst? De delta-releases worden niet gesplitst. Afhankelijk van uw gebruikssituatie, kunt u ervoor kiezen om alle gegevens aan uw trainingsset toe te voegen, of u kunt ze samenvoegen met de vorige versie en CorporaCreator gebruiken om een versie te maken die identiek is aan de volledige Common Voice 11-versie.
Hebben we nog steeds toegang tot oudere versies van de dataset?
Ja, maar de manier waarop u ze opent, zal veranderen. U kunt de nieuwste gegevensset downloaden, de vorige, en de delta van fragmenten tussen de twee. We ondersteunen het downloaden van de oudste releases van MCV rechtstreeks van het platform niet meer, maar u kunt ons altijd een e-mailbericht sturen om toegang te krijgen tot een oudere versie van de dataset. Dit maakt deel uit van onze toewijding om op de milieu-impact van ons platform te letten.
Stel gerust al uw vragen over de delta-releases op Discourse of Matrix – het team zal proberen ze te beantwoorden!