Anuncio: ¡Actualizaciones delta en Mozilla Common Voice!

A partir de octubre de 2022, además de las descargas de la versión completa del set de datos, proporcionaremos descargas de la versión delta.

¿Qué es una actualización delta? Imaginemos que has descargado Common Voice 10 para catalán, con un tamaño total de 49 GB. Ahora está disponible Common Voice 11 y quieres tener todos esos fantásticos datos nuevos. La actualización delta te permite descargar únicamente los datos nuevos, que son lo que distingue a la versión Common Voice 10 de la 11.

¿Por qué hacen esto? Hemos recibido muchos comentarios de nuestra comunidad diciendo que las descargas de gran tamaño eran un problema para muchos usuarios y desarrolladores que querían usar el set de datos. Las descargas de gran tamaño pueden tardar mucho tiempo si se tiene una conexión lenta. Además, descargar una gran cantidad de datos también puede ser difícil si la conexión es inestable. Para muchas personas de nuestra comunidad, verse obligadas a descargar clips que ya tenían de la versión anterior ha sido costoso y derrochador.

¿Van a ofrecer actualizaciones delta entre todas las versiones? Ofreceremos versiones delta entre las dos últimas versiones de forma continua. Es decir, en algún momento después del lanzamiento de la próxima versión (que será Common Voice 11, en octubre) pondremos a disposición la actualización delta entre la versión 10 y la 11. En la versión posterior a esa (que será Common Voice 12) pondremos a disposición la actualización delta entre la versión 11 y la 12, y así sucesivamente.

¿Cuándo estarán disponibles las actualizaciones delta? La primera versión delta saldrá a mediados o finales de octubre. ¡Los mantendremos informados!

¿Cómo son los datos? Están exactamente en el mismo formato que la versión completa, solo los archivos TSV y clips/ directorio solo contiene los datos nuevos en lugar de todos los datos.

¿Estará dividida de la misma manera? Las versiones delta no estarán divididas. Dependiendo de tu caso, puedes optar por agregar todos los datos a tu set para entrenamiento, o puedes fusionarlos con la versión anterior y usar CorporaCreator para crear una versión que será idéntica a la versión completa de Common Voice 11.

¿Todavía podemos acceder a las versiones anteriores del set de datos?

Sí, pero cambiará la forma de acceso. Podrás descargar el último set de datos, el anterior al último y la actualización delta de los clips entre los dos. Ya no permitiremos la descarga de las versiones más antiguas de MCV directamente desde la plataforma, aunque siempre puedes enviarnos un correo electrónico para acceder a una versión anterior del set de datos. Esta decisión forma parte de nuestro compromiso de ser reflexivos sobre el impacto ambiental de nuestra plataforma.

No dudes en hacernos llegar cualquier pregunta que tengas sobre las versiones delta en Discourse o Matrix, ¡el equipo se encargará por responderlas!