(Harsamadu/Shutterstock)
El intercambio de cantidades masivas de datos es basic para la mayoría de los procesos comerciales actuales, ya que permite experiencias innovadoras para los clientes a escala. Pero obtener rápidamente datos impecablemente limpios y de alta calidad donde deben estar (ya sea para un sistema interno o para socios externos) es un gran desafío para los equipos de datos. Y hacerlo en tiempo actual es aún más complejo. Mover datos de forma segura, confiable y rápida requiere una buena gobernanza de datos, pero ¿qué tipo de marcos se requieren para garantizar que los datos estén bien gobernados mediante la distribución en tiempo actual dentro de la organización?
En Capital One, iniciamos una transformación tecnológica hace más de una década que requirió que modernizáramos nuestro ecosistema de datos en la nube. Hemos creado (y seguiremos evolucionando) un ecosistema de datos central y basic que permite a los equipos de toda la empresa aprovechar y compartir datos bien gobernados en toda la organización. La buena gobernanza ha desempeñado un papel essential en la modernización de nuestro ecosistema de datos, y esto hace que la gobernanza sea aún más crítica hoy en día.
Las mejores prácticas que se describen a continuación pueden ayudar a las empresas a permitir que sus equipos aprovechen los datos de una manera bien gobernada, centrándose en la implementación de plataformas y estándares de datos centrales con gobernanza de datos integrada.
Cree un portal central de autoservicio
Para garantizar que los datos permanezcan bien gobernados durante todo su ciclo de vida, comience por crear una central
(GaudíLab/Shutterstock)
centro donde se puede acceder a los datos de todos sus repositorios separados en un solo lugar. Desde aquí, puede configurar múltiples canalizaciones con reglas, restricciones y políticas que dicten la accesibilidad de los datos, la velocidad de los datos (por ejemplo, si los datos se transmiten o no), la aplicación de esquemas, la calidad de los datos y más. Este portal de autoservicio debería permitir a su organización virtualizar todas las fuentes de datos en una única capa de datos unificada. Esto proporciona una vista panorámica de su panorama de datos, lo que facilita el acceso y el uso de los usuarios mientras implementa controles de gobernanza en torno al acceso a los datos, la privacidad, la seguridad y más. Tener este portal de autoservicio centralizado es clave para federar los datos en toda la empresa.
Establecer una gobernanza de la calidad del servicio
Ya sea que los datos se compartan en tiempo actual o de forma asincrónica, es importante garantizar que todos los datos cumplan con la gobernanza definida en función de su sensibilidad y valor. Incluso los datos a los que hoy en día no parece necesario acceder en tiempo actual podrían volverse críticos en el futuro. Desde el principio, debe aplicar distintos niveles de gobernanza y controles en torno al acceso y la seguridad según los datos. Esto significa aplicar rigor en torno a la gobernanza al comienzo del ciclo de vida de los datos, lo que podría incluir un monitoreo sólido de la calidad de los datos, seguimiento del linaje y controles de seguridad, según el valor y la sensibilidad de los datos. De esa manera, cualquier conjunto de datos puede emerger y compartirse fácilmente a medida que evolucionan los requisitos, sin una costosa refactorización posterior.
Publicar una vez, publicar correctamente
Cuando los datos se mueven en milisegundos, una gobernanza sólida garantiza que fluyan a los lugares correctos a través de las reglas correctas en el momento correcto. Asegúrese de establecer reglas sobre cuándo y dónde se publican los datos y para qué aplicaciones estarán disponibles, pero también de establecer monitoreo y observabilidad. Los equipos necesitan tener confianza en que sus datos estarán disponibles para casos de uso críticos específicos exactamente cuando los necesiten, ya sea en tiempo actual o asíncrono. En Capital One, el uso de datos en tiempo actual ayuda a detectar fraudes y permitir transacciones rápidas y seguras, pero aún se necesitan datos por lotes para potenciar los casos de uso e impulsar la IA/ML a escala.
Haga que los datos sean rastreables y auditables
La transparencia es basic a la hora de establecer una estructura de gobernanza de datos. Los equipos deben poder monitorear y auditar todos los flujos de datos para garantizar el cumplimiento de los marcos de gobernanza, identificar problemas potenciales, garantizar la seguridad de los datos y mejorar la eficiencia basic.
(Tippa Patt/Shutterstock)
Aquí es donde su centro de datos centralizado vuelve a entrar en juego, proporcionando capacidades granulares de publicación y suscripción para que los propietarios de los datos puedan monitorear qué conjuntos de datos se comparten con qué equipos y bajo qué parámetros. Puede establecer acuerdos de nivel de servicio (SLA) en torno a los requisitos de actualización de los datos. Además, las herramientas de observabilidad permiten a los equipos de datos monitorear si se cumplen los SLA en todos los canales de datos.
Invierta en el almacenamiento adecuado
Para hacer posible el intercambio de datos a gran escala, las empresas deben invertir mucho en el almacenamiento y la infraestructura adecuados. La mayoría de los almacenes y lagos de datos también permiten a los usuarios alternar niveles de acceso y monitoreo para conjuntos de datos específicos. Asegúrese de verificar el nivel de controles y monitoreo que ofrecen los proveedores de su elección. No es necesario almacenar todos los datos en los almacenes de mayor rendimiento (y mayor costo) todo el tiempo; algunos datos se pueden almacenar de manera más económica en lagos de datos si no es necesario acceder a ellos y compartirlos en tiempo actual. Incluso dentro del contexto de datos en tiempo actual, existen mecanismos para compensar costos y rendimiento. La clave es establecer mecanismos de gobernanza inteligentes para mover datos de manera inteligente entre niveles de almacenamiento en función de los requisitos de acceso y los casos de uso mediante el establecimiento de calidad de servicio y SLA que definan la latencia, la retención y la tolerancia de costos.
Otro consejo a la hora de equilibrar el costo y el rendimiento es garantizar que todos los datos estén etiquetados con buenos metadatos, como los períodos de retención requeridos, el tiempo desde el último acceso y los patrones de uso. Estos metadatos nos permiten mover datos automáticamente a diferentes niveles de almacenamiento, manteniendo algunos datos en niveles acelerados y archivando otros datos en un almacenamiento más económico. Este enfoque de múltiples niveles también garantiza que todos los datos, sin importar su usabilidad precise, se almacenen y se puedan encontrar para uso futuro. Nunca se sabe cuándo datos que hoy parecen poco importantes pasarán a serlo mañana.
Al adoptar un enfoque estratégico para la gobernanza de datos desde el principio, una empresa puede desbloquear todo el potencial de sus datos a escala. Los usuarios pueden encontrar, acceder y utilizar datos de forma rápida, segura y confiable para impulsar aplicaciones en tiempo actual y la toma de decisiones críticas. Si bien implementar una gobernanza de datos sólida es una inversión significativa (y una estrecha cooperación entre los equipos de datos, negocios y liderazgo), las ventajas competitivas de ser una organización verdaderamente basada en datos hacen que el esfuerzo valga la pena.
Sobre el autor: Marty Andolino, vicepresidente de ingeniería y tecnología de datos empresariales de Capital One. En su función, Marty lidera un equipo responsable de las canalizaciones de datos, los servicios de gobernanza de datos y el intercambio de datos externos. Habiendo trabajado en Capital One durante más de nueve años, ha desempeñado diversos cargos tecnológicos en comercio minorista, advertising and marketing, fraude, datos, decisiones y arquitectura. Le apasiona crear una experiencia positiva para el cliente, soluciones tecnológicas innovadoras y tutoría.
Artículos relacionados:
El ascenso y la caída de la gobernanza de datos (otra vez)
Creación de una estrategia de gobernanza de datos exitosa
