Ankündigung: Delta-Veröffentlichungen auf Mozilla Common Voice!

Stand Oktober 2022 werden wir nicht nur die Versionen als vollständige Datensätze, sondern auch die Delta-Versionen zum Download anbieten.

Was ist eine Delta-Version? Stellen Sie sich vor, Sie hätten Common Voice 10 für Katalanisch heruntergeladen, eine Gesamtgröße von 49 GB, nun wird Common Voice 11 veröffentlicht, und Sie möchten diese neuen Daten erhalten. Eine Delta-Version ermöglicht es Ihnen, nur die neuen Daten herunterzuladen – das ist der Unterschied zwischen Common Voice Version 10 und 11.

Warum tun Sie das? Wir haben eine Menge Rückmeldung von der Gemeinschaft erhalten, dass die umfangreichen Download-Größen ein Problem für viele Benutzer und Entwickler waren, die den Datensatz verwenden wollten. Die Download-Größe kann für Menschen mit langsamen Verbindungen lange Zeit dauern und das Herunterladen einer großen Menge von Daten kann auch auf instabilen Verbindungen schwierig sein. Für viele in unserer Gemeinschaft war es kostspielig und verschwenderisch, Aufzeichnungen herunterzuladen, die sie bereits aus der vorherigen Version hatten.

Werden Sie Deltas zwischen allen Versionen anbieten? Wir werden Delta-Versionen zwischen der letzten und der neuesten Version fortlaufend anbieten. Irgendwann nach der nächsten Veröffentlichung (Common Voice 11 im Oktober) werden wir also das Delta zwischen 10 und 11 anbieten. Bei der darauf folgenden Veröffentlichung (Common Voice 12) werden wir das Delta zwischen 11 und 12 zur Verfügung stellen und so weiter.

Wann werden die Delta-Versionen verfügbar sein? Die erste Delta-Version wird Mitte bis Ende Oktober herauskommen. Wir halten Sie auf dem Laufenden!

Wie sehen die Daten aus? Sie haben genau dasselbe Format wie die Vollversion, nur die TSV-Dateien und das Verzeichnis „clips/“ enthalten nur die neuen Daten, nicht alle Daten.

Wird es auf die gleiche Weise aufgeteilt? Die Delta-Versionen werden nicht aufgeteilt. Abhängig von Ihrem Anwendungsfall können Sie alle Daten zu Ihrem Trainingssatz hinzufügen oder mit der vorherigen Version zusammenführen und CorporaCreator verwenden, um eine Version zu erstellen, die mit der vollständigen Version von Common Voice 11 identisch ist.

Können wir noch auf ältere Versionen des Datensatzes zugreifen?

Ja – aber die Art und Weise, wie Sie darauf zugreifen, wird sich ändern. Sie können den neuesten Datensatz, den vorherigen und das Delta der Clips zwischen den beiden herunterladen. Wir werden das Herunterladen der ältesten Versionen von MCV direkt von der Plattform nicht mehr unterstützen, Sie können uns jedoch jederzeit eine E-Mail senden, um auf eine ältere Version des Datensatzes zuzugreifen. Dies ist Teil unserer Verpflichtung, über die Umweltauswirkungen unserer Plattform nachzudenken.

Bitte stellen Sie Fragen zu den Delta-Versionen auf Discourse oder Matrix – und das Team wird sich bemühen, diese zu beantworten!