Unificando una pila de datos y aprovechando el análisis de autoservicio con Atlan
La serie Energetic Metadata Pioneers presenta a los clientes de Atlan que han completado una evaluación exhaustiva del mercado de Energetic Metadata Administration. ¡Transmitir lo que has aprendido al próximo líder de datos es el verdadero espíritu de la comunidad de Atlan! Por eso, están aquí para compartir la perspectiva que tanto les costó ganar sobre un mercado en evolución, lo que constituye su pila de datos moderna, casos de uso innovadores para metadatos y más.
En esta entrega de la serie, conocemos a Daniel Ferguson, director de datos y análisis de PHMG, una empresa de branding de audio que ayuda a más de 36.000 clientes en 56 países a tener el mejor sonido. Daniel comparte cómo PHMG transformó su pila de datos de fragmentada a unificada, y cómo Atlan ha sido una pieza essential en el seguimiento del linaje, la gestión de informes y la facilitación de la incorporación del equipo.
Esta entrevista ha sido editada para mayor brevedad y claridad.
¿Podría contarnos un poco sobre usted, su experiencia y lo que lo atrajo a Information & Analytics?
Solía ser DJ y luego trabajé como ingeniero de sonido construyendo estudios de grabación. Durante mi etapa como ingeniero de sonido, me interesé por el lado técnico y analítico de las cosas. Después de formar una familia, quería un cambio. Después de vender mi estudio de grabación, mi madre, que dirigía una oficina municipal, me ofreció trabajo y comencé en la unidad de name middle, atendiendo llamadas. Rápidamente se hizo evidente que podía hacer más que solo llamadas, así que pasé al equipo de bases de datos.
Comencé a estudiar una licenciatura en Economía y Ciencias Matemáticas en The Open College mientras trabajaba en el consejo. Utilizando las habilidades aprendidas en la carrera comencé a construir modelos de regresión logística para dirigirme a los contactos del name middle en el que había trabajado anteriormente. Propuse que, con una sola persona, podía lograr los mismos resultados que todo el equipo. Mi trabajo generó un 300% más de resultados que los esfuerzos combinados del equipo al optimizar la recopilación de datos, abordar la información faltante y seleccionar los mejores contactos. Después de eso, me enganché al poder de los datos y el análisis.
Luego creé una empresa que proporcionaba servicios de datos a otras autoridades locales. Cerca del last de mis estudios, una consultora en Escocia, Aquila Insights, me ofreció un puesto. Trabajaron con clientes como Sony, Workplace Depot y RBS, lo que me permitió conocer tempranamente la profesión de los datos. A partir de ahí, avancé en el campo y finalmente me uní a PHMG. Mi viaje hacia los datos fue algo unintentional, pero me llevó a donde estoy hoy.
¿Le importaría describir PHMG?
Nos especializamos en branding de audio. Piense en logotipos como Netflix o Disney Plus: solo a través del sonido, estas marcas son instantáneamente reconocibles como líderes de la industria del entretenimiento y la transmisión, incluso cuando sus logotipos visuales no están a la vista.
También vamos más allá del branding de audio tradicional al desarrollar música personalizada y adaptada a cada organización. Tomaremos a Atlan como ejemplo: ¿De qué se trata Atlan? ¿Qué representas? ¿Cuál es el tipo de ritmo que quiere traer?
Esta conexión entre música e identidad es lo que me atrajo de la empresa. Hemos tenido mucho éxito, operando en 56 países con 36.000 clientes.
¿Podría describir su pila de datos y cómo se unió?
Cuando llegué aquí, usábamos servidores SQL con hojas de cálculo de Excel. Había pocos o ningún informe interactivo y cada solicitud de datos debía presentarse al equipo de datos.
Period necesario modernizar la información que fluye hacia la empresa e implementar la tecnología adecuada para lograrlo de manera eficiente y confiable. Me concentré en encontrar soluciones tecnológicas que agilizaran las operaciones y redujeran la necesidad de ingenieros adicionales.
Fui muy cuidadoso con la selección de tecnología, evitando soluciones por el easy hecho de hacerlo y no construyendo desde cero. Si bien Azure Cloth ofrece una solución integral, por ejemplo, todavía es nueva y conlleva riesgos adicionales, pero es algo a lo que estoy atento. Es essential elegir las mejores herramientas para el trabajo y asegurarse de que funcionen bien juntas. Invertir en un proceso fluido con estas herramientas le permite comenzar con fuerza y demostrar valor rápidamente, con espacio para evolucionar a medida que escala.
En mi propuesta para la junta directiva, destaqué dos herramientas esenciales: Atlan y ThoughtSpot. Le expliqué que, si bien podríamos arreglárnoslas sin ellos, marcarían una diferencia significativa. Quería que la gobernanza estuviera integrada en nuestros procesos y que, en lugar de asignar administradores de datos sin una dirección clara, proporcionáramos informes procesables y datos comprensibles. Con datos adecuadamente organizados, la gobernanza se vuelve sencilla y Atlan agiliza este proceso.
Seleccioné Snowflake por su solidez y precio razonable, y Fivetran por su rendimiento confiable de canalización, que maneja de manera efectiva nuestras necesidades de integración de datos.
Implementé PowerBI para informes ejecutivos y ThoughtSpot para nuestras necesidades de datos de autoservicio. Soy un gran admirador de ThoughtSpot porque permite a los usuarios ajustar sus propios informes, lo que scale back la necesidad de modificaciones constantes por parte del equipo de datos.
Para la orquestación, uso Airflow para administrar canalizaciones y DBT con GitLab para nuestro repositorio de código y procesos de CI/CD.
¿Por qué Atlan encajaba bien? ¿Algo destacó durante su proceso de evaluación?
En mi organización anterior, intenté utilizar código abierto con DataHub, pero su mantenimiento y desarrollo requirieron una inversión significativa. Atlan se destacó porque es plug-and-play, y crea automáticamente mineros que revelan conocimientos previamente desconocidos. Identifica y explica scripts que no conocíamos, ahorrando tiempo y reduciendo la deuda técnica por tener que revisar manualmente un código extenso.
Atlan nos permite rastrear y monitorear lo que hemos creado, incluido el linaje de datos y los activos. Es invaluable para revisar informes sin necesidad de solicitar detalles del código; simplemente navegue por Atlan para ver el historial del informe. Los nuevos miembros del equipo también pueden comprender la construcción de informes a través de Atlan.
Para mí, Atlan fue una pieza clave del rompecabezas.
Investigué exhaustivamente a Collibra, Alation y Atlan, y Atlan fue la elección clara. Parecía diseñado para empresas medianas y requería un esfuerzo de ingeniería mínimo. Dada nuestra situación, period essential integrarlo desde el principio, y no como una ocurrencia tardía. Esto nos permitió aprender y desarrollar Atlan junto con nuestros sistemas existentes, en lugar de intentar incorporarlo a nuestra configuración prediseñada.
Siempre me propongo reunirme con los equipos de liderazgo en los eventos para evaluar su actitud y determinación, y no conozco a ningún otro jugador que lo esté haciendo tan bien como Atlan. Me impresionó genuinamente el equipo de liderazgo de Atlan: no solo su pasión por el producto sino también su compromiso para abordar mis desafíos y mejorar nuestra situación.
¿Cómo planea aprovechar Atlan para mejorar su pila de datos? ¿Qué casos de uso y objetivos interesantes tienes en mente?
Hemos invertido en un modelo de bóveda de datos para nuestro almacén de datos, que alimenta un almacén de datos operativo, lo que yo llamo el mercado de datos. Todos nuestros informes y métricas se crean a partir de este information mart. En Atlan, definimos cómo construir todo, por lo que una vez que se outline una métrica, podemos escribir el SQL para extraerlo del mercado.
Luego creamos tablas seleccionadas para servicios al cliente y organizaciones de ventas, permitiéndoles autoservicio a través de ThoughtSpot. Para obtener información detallada sobre la construcción y el fundamento de estas métricas, almacenamos esa información en Atlan, que se convierte en nuestro catálogo.
A medida que se incorporan nuevas personas, me aseguro de que no haya necesidad de un traspaso. De forma predeterminada, documentamos nuestros procesos sobre la marcha y construimos sistemas que dejan rutas de navegación claras para que otros las sigan. Atlan juega un papel essential en esto. Dirigimos a los nuevos miembros del equipo a Atlan para ayudarlos a comprender cómo se construye todo y a partir de qué se construye. Atlan no sólo revela el código, sino que resalta los objetos clave, su uso y su importancia.
Otro proyecto importante implica la creación de un glosario completo dentro de Atlan, que sirva como nuestra única fuente de verdad. Este entorno permite a los usuarios empresariales acceder a todas las métricas corporativas y ver informes de Salesforce, PowerBI y ThoughtSpot, todos vinculados en torno a KPI clave.
Actualmente también estamos refinando nuestro linaje de datos y descripciones de modelos. A medida que creamos nuevos modelos de datos, actualizamos las descripciones de forma incremental en lugar de hacerlo de forma masiva. Este esfuerzo continuo ayuda a garantizar que nuestros modelos de datos estén bien documentados y sean fácilmente comprensibles.
¿Tiene algún consejo para compartir con sus pares que están comenzando a administrar y organizar sus activos de datos de manera efectiva?
Las empresas siempre hablan de estar impulsadas por los datos, pero no hablan de los activos que realmente impulsan los datos. Queremos que la información fluya en nuestra organización, pero la información no puede fluir si no está organizada de manera consistente. Y para mí, herramientas como Atlan nos facilitan mucho la organización y comunicación de los datos importantes.
No me malinterpretes, Atlan no es una solución milagrosa. No solucionará la mala organización dentro de su almacén de datos. Sin embargo, proporciona un lugar centralizado para definir y evaluar sus procesos, ayudándole a identificar cuáles son efectivos y cuáles necesitan mejorar.
Atlan nos ayudó a determinar por dónde empezar identificando nuestras tablas más cruciales y centrándonos en lo que period importante. Por ejemplo, encontramos una tabla elementary para todo lo que construimos, lo que nos permitió priorizarla. Luego evaluamos nuestros informes y descubrimos que algunos que pensábamos que eran importantes eran relevantes sólo para informes específicos, no para el contexto más amplio.
A medida que obtenemos datos confidenciales, también podemos marcarlos inmediatamente. Si nos auditan, simplemente podemos abrir Atlan y decir: “Oye, esto es lo que tenemos. Así gestionamos nuestros datos. Estos son nuestros activos de datos”. Por lo tanto, aquellos comprometidos con el uso de datos deben cuidar sus activos de datos y comprender cuáles son.
Foto por Adi Goldstein en desempaquetar
