Esta simple deduplicación redujo nuestro requisito de almacenamiento en más del 40 %. En sistemas distribuidos como los que impulsan Instagram o YouTube, el almacenamiento no es pasivo; Requiere CPU para establecer, comprimir y replicar. Al achicar drásticamente el espacio de almacenamiento, mejoramos la disponibilidad del ufano de manada para los trabajadores distribuidos que obtienen datos para capacitación, creando un círculo virtuoso de eficiencia en toda la pila.
Auditar el uso de funciones
La última cuchitril del rompecabezas fue la honestidad de primavera. En un sistema tan antiguo y difícil como el motor de recomendaciones de una importante red social, el acaparamiento digital es un problema actual. Teníamos más de 100.000 funciones distintas registradas en nuestro sistema.
Sin retención, no todas las funciones son iguales. La “perduración” de un sucesor puede tener muy poco peso en el maniquí en comparación con el “contenido que le gustó recientemente”. Sin retención, uno y otro cuestan medios para calcular, recuperar y registrar.
