A medida que los análisis avanzados y la IA continúan impulsando la estrategia empresarial, los líderes tienen la tarea de crear canales de datos flexibles y resilientes que aceleren los conocimientos confiables. El pionero de la IA, Andrew Ng, subrayó recientemente que la robustez La ingeniería de datos es elementary para el éxito de la IA centrada en datos.—una estrategia que prioriza la calidad de los datos sobre la complejidad del modelo. La última investigación de McKinsey Quarterly pronostica además un futuro de “ubicuidad de los datos” para 2030donde los datos empresariales se integran perfectamente en todos los sistemas, procesos y puntos de decisión. Para las empresas, el desafío ahora no es sólo una implementación rápida; se trata de crear procesos iterativos y confiables que garanticen datos procesables y de alta calidad a escala.
La última versión de Cloudera Knowledge Engineering en la nube pública aborda este creciente desafío al introducir mejoras importantes en la productividad del desarrollo con herramientas seguras para la empresa, brindando acceso remoto a Apache Spark desde los entornos de codificación preferidos del profesional. Este lanzamiento marca un hito hacia la visión de Cloudera Knowledge Engineering de proporcionar las mejores soluciones de canalización y orquestación de nivel de producción y centradas en los profesionales.
Un nuevo nivel de productividad con acceso remoto
El nuevo Cloudera Knowledge Engineering 1.23 en la nube pública destaca Conectividad IDE externaque permite a los ingenieros de datos acceder a los clústeres y canalizaciones de datos de Apache Spark directamente desde sus entornos de desarrollo preferidos (por ejemplo, Jupyter, PyCharm y VS Code). Los equipos de profesionales de datos ampliados pueden trabajar en sus entornos de codificación preferidos sin restricciones de propiedad.
Junto con las sesiones interactivas de Cloudera Knowledge Engineering, los equipos de datos pueden aprovechar los beneficios del desarrollo iterativo, fomentando flujos de trabajo iterativos más colaborativos para impulsar la calidad y al mismo tiempo mantener estándares de seguridad sólidos.
El mejor Apache Spark de su clase en Iceberg
Esta versión también trae nuevas capacidades diseñadas para mejorar la rentabilidad. La compatibilidad con Apache Iceberg 1.5, junto con Apache Spark 3.5, ofrece un mejor rendimiento y una gestión de costes optimizada. En los casos de uso de Change Knowledge Seize (CDC), las eliminaciones avanzadas a nivel de fila con Merge-on-Learn mejoran la eficiencia de las consultas, reduciendo el consumo de recursos y los costos operativos.
¿Por qué Cloudera Ingeniería de Datos?
Clientes de Cloudera benefíciese de herramientas seguras para la empresa para crear entornos sandbox colaborativos, empoderando a los ingenieros de datos, científicos de datos y equipos de profesionales de datos ampliados que necesitan conocimientos para impulsar decisiones. Con 100 veces más datos bajo gestión en comparación con otros proveedores de nube, Cloudera permite a las empresas construir lagos de datos abiertos para una gestión de datos escalable y segura con análisis portátiles en entornos de nube híbrida.
Los principales innovadores de los sectores financiero, sanitario y otros sectores con uso intensivo de datos confían en Cloudera Knowledge Engineering por varios motivos:
- Canalización segura de datos en entornos híbridos: Con Apache Spark como motor, Cloudera Knowledge Engineering proporciona una ingesta segura, manejando sin problemas datos en diferentes formatos en nubes híbridas para satisfacer las diversas necesidades de los canales de datos modernos. Impulsado por servicios de plataforma integrados, Cloudera Knowledge Engineering garantiza la gobernanza de datos con un manejo sólido de datos y un seguimiento automatizado del linaje del ciclo de vida.
- Flujos de trabajo simplificados y colaboraciones iterativas: Con Apache Airflow, Cloudera Knowledge Engineering proporciona integraciones API para herramientas de datos externas como dbt. Las sesiones interactivas y la última conectividad IDE externa admiten iteraciones y colaboraciones rápidas.
- Interoperabilidad de datos con menor coste complete de propiedad: Cloudera Knowledge Engineering tiene soporte nativo para Iceberg apache – el formato de tabla abierta líder diseñado específicamente para gestionar lagos de datos a escala de exabytes y ofrecer consultas de alto rendimiento. A diferencia de los proveedores de nube con motores propietarios, Cloudera Knowledge Engineering optimiza la rentabilidad aprovechando tecnologías de código abierto y servicios de plataforma integrada como Observabilidad de Cloudera.
¿Listo para explorar?
Descubra cómo Cloudera Knowledge Engineering puede acelerar la generación de valor en la creación de arquitecturas de datos modernas preparadas para el futuro:
