En 2023, Rockset anunció una nueva arquitectura en la nube para búsqueda y análisis que separa el almacenamiento informático y calcular-calcular. Con esta arquitectura, los usuarios pueden separar el cálculo de ingesta del cálculo de consulta, todo mientras acceden a los mismos datos en tiempo actual. Esto supone un punto de inflexión en las arquitecturas desagregadas en tiempo actual. También desbloquea formas de hacer que sea más fácil y económico crear aplicaciones en Rockset.
Hoy, Rockset lanza nuevas funciones que hacen que la búsqueda y el análisis sean más asequibles que nunca:
- Clase de instancia de propósito basic: una nueva proporción de recursos informáticos y de memoria que es adecuada para muchas cargas de trabajo y tiene un precio un 30 % más bajo.
- Instancia digital Xsmall: un precio inicial de bajo costo para instancias virtuales dedicadas de $232/mes.
- Instancias virtuales de escalado automático: Escala automáticamente las instancias virtuales hacia arriba y hacia abajo según la demanda según la utilización de la CPU.
- microprocesamiento: una opción para la ingesta de microlotes según los requisitos de latencia del caso de uso.
- Materializaciones incrementales: capacidad de crear colecciones derivadas y actualizadas incrementalmente a partir de un conjunto de colecciones base.
En este weblog, profundizamos en cada una de estas características y cómo brindan a los usuarios más controles de costos para sus aplicaciones de búsqueda e inteligencia synthetic.
Clase de instancia de propósito basic
Rockset introduce el concepto de clase de instanciao diferentes proporciones de recursos informáticos y de memoria para instancias virtuales. Las dos clases de instancia disponibles son:
- Propósito basic: esta clase proporciona una proporción de memoria y computación adecuada para muchas cargas de trabajo.
- Memoria optimizada: para un tamaño de instancia digital determinado, la clase de memoria optimizada tiene el doble de memoria que la clase de propósito basic.
Recomendamos a los usuarios que prueben el rendimiento de Rockset en la clase de instancia de uso basic con un precio un 30 % más bajo. Cuando vea que su carga de trabajo se queda sin memoria con un uso moderado de la CPU, cambie de la clase de instancia de propósito basic a la clase de instancia optimizada para memoria. La clase de instancia optimizada para memoria es very best para consultas que procesan grandes conjuntos de datos o tienen un tamaño de conjunto de trabajo grande debido a la combinación de consultas.
Rockset también presenta un nuevo tamaño de instancia digital XSmall a $232/mes. Si bien Rockset ya tiene la edición para desarrolladores, con un precio tan bajo como $9 al mes, utiliza instancias virtuales compartidas con rendimiento variable. La introducción de un nuevo tamaño de instancia digital XSmall proporciona un rendimiento consistente para aplicaciones a un precio inicial más bajo.
Instancias virtuales de escalado automático
Las instancias virtuales de Rockset se pueden ampliar o reducir con una llamada a la API o con solo hacer clic en un botón. Con instancias virtuales de escalado automáticoesto puede suceder automáticamente para cargas de trabajo en respuesta a la utilización de la CPU.
Rockset monitorea las métricas de utilización de CPU de la instancia digital para determinar cuándo activar un cambio en el tamaño de la instancia digital. Utiliza un algoritmo de decaimientolo que permite realizar análisis históricos con énfasis en mediciones recientes al tomar decisiones de autoescalado. El escalado automático tiene la siguiente configuración:
- El escalado automático se produce cuando el valor de disminución de la utilización de la CPU supera el 75 %
- La reducción automática de escala se produce cuando el valor de disminución de la utilización de la CPU es inferior al 25 %.
Los períodos de recuperación se producen después de un aumento de escala automático de 3 minutos y una reducción de escala automática de 1 hora.
Rockset aumenta o scale back una instancia digital en tan solo 10 segundos con separación de almacenamiento de computación. Un cliente de Rockset pudo ahorrar un 50 % en su factura mensual al activar el escalado automático, ya que podía responder dinámicamente a los cambios en la utilización de la CPU de su aplicación sin requerir ninguna sobrecarga de administración.
La arquitectura nativa de la nube de Rockset contrasta con la arquitectura estrechamente acoplada de Elasticsearch. El API de escalado automático de Elastic Cloud se puede utilizar para definir políticas para monitorear la utilización de recursos del clúster. Incluso con la API de escalado automático proporcionando notificaciones, la responsabilidad de agregar o eliminar los recursos aún recae en el usuario. Esta no es una operación de manos libres y también implica la transferencia de datos entre nodos.
microprocesamiento
Rockset es conocido por su indexación y ingesta de datos de transmisión de baja latencia. En los puntos de referencia, Rockset logró hasta Ingestión de datos de streaming 4 veces más rápida que Elasticsearch.
Si bien muchos usuarios eligen Rockset por sus capacidades en tiempo actual, vemos casos de uso con requisitos de latencia de datos menos sensibles. Es posible que los usuarios estén creando aplicaciones de análisis y búsqueda orientadas al usuario a partir de datos que se actualizan después de minutos u horas. En estos escenarios, la ingesta de datos en streaming puede ser una parte costosa de la ecuación de costos.
microprocesamiento permite la dosificación de la ingestión en intervalos de 10 minutos a 2 horas. La instancia digital responsable de la ingestión se activa para procesar por lotes los datos entrantes y luego se desactiva cuando se completa la operación de procesamiento por lotes. Echemos un vistazo a cómo los microlotes pueden ahorrar en costos de computación de ingestión.
Un usuario tiene un gran instancia digital para la ingesta de datos y tiene una velocidad de ingesta de 10 MB/segundo con un requisito de latencia de datos de 30 minutos. Cada 30 minutos se han acumulado 18.000 MB. La gran instancia digital procesa 18 MB/segundo, por lo que se necesitan 16,7 minutos para cargar los datos por lotes. Esto se traduce en un ahorro del 44% en la ingesta de datos.
| Ejemplo de microprocesamiento | |
|---|---|
| Tamaño del lote (10 MB/segundo * 60 segundos * 30 minutos) | 18.000MB |
| Tiempo de procesamiento por lotes (tamaño de lote de 18 000 MB ÷ 18 MB/segundo de velocidad máxima de transmisión por secuencias ÷ 60 segundos/minuto) | 16,7 minutos |
| Ahorro de cálculo de ingesta (1-((16,7 minutos ahorrados * 2 veces por hora)/(60 minutos/hora))) | 44% |
El microbatch es otro ejemplo más de cómo Rockset ofrece más controles de costos a los usuarios para ahorrar recursos según los requisitos de su caso de uso.
Materialización incremental
La materialización incremental es una técnica utilizada para optimizar el rendimiento de las consultas.
Las materializaciones son colecciones precalculadas, como tablas, creadas a partir de una consulta SQL en una o más colecciones base. La thought detrás de las materializaciones es almacenar el resultado de una consulta computacional costosa en una colección para que pueda recuperarse rápidamente, sin necesidad de volver a calcular la consulta authentic cada vez que se necesitan los datos.
Las materializaciones incrementales abordan uno de los desafíos de las materializaciones: la capacidad de mantenerse actualizado cuando los datos subyacentes cambian con frecuencia. Con las materializaciones incrementales, solo se calculan los cambios periódicos de datos en lugar de tener que volver a calcular toda la materialización.
En Rockset, las materializaciones incrementales se pueden actualizar con una frecuencia de hasta una vez por minuto. A menudo vemos materializaciones incrementales utilizadas para consultas complejas con SLA estrictos en menos de 100 MS.
Usemos un ejemplo de materialización incremental para una aplicación SaaS multiinquilino, registrando recuentos de pedidos y ventas por vendedor. En Rockset, utilizamos el comando INSERTAR EN para crear una colección derivada.
Contenido integrado: https://gist.github.com/julie-mills/150cbe7ed6c524c6eb6cc3afbd2b6027
Guardamos esta materialización como consulta lambda. Las lambdas de consulta permiten a los usuarios guardar cualquier consulta SQL y ejecutarla como un punto remaining REST dedicado. Las lambdas de consulta ahora pueden ser programado para su ejecución automática y se pueden configurar determinadas acciones en función de sus resultados. Para crear materializaciones incrementales utilizando lambdas de consulta programada, establezca un intervalo de tiempo mediante el cual se ejecuta la consulta con la acción de insertar el resultado en una colección usando el comando INSERT INTO.
Con materializaciones incrementales, la consulta de la aplicación se puede simplificar para lograr una baja latencia de consulta.
Contenido integrado: https://gist.github.com/julie-mills/ec916f94ed41de0cdd518d070f4b24f4
Rockset puede lograr materializaciones incrementales utilizando lambdas de consulta programadas y el comando INSERT INTO, lo que permite a los usuarios mantener la complejidad de la consulta y al mismo tiempo lograr un mejor rendimiento de precios.
Velocidad y eficiencia a escala
Rockset continúa reduciendo la barrera de costos para las aplicaciones de búsqueda e inteligencia synthetic con instancias virtuales de propósito basic, escalado automático, microbatch y materializaciones incrementales.
Si bien esta versión brinda a los usuarios más controles de costos, Rockset continúa abstrayendo las partes difíciles de la búsqueda y la inteligencia synthetic, incluida la indexación, la administración de clústeres, las operaciones de escalado y más. Como resultado, los usuarios pueden crear aplicaciones sin incurrir en los costos informáticos y humanos que tradicionalmente han acompañado a sistemas como Elasticsearch.
La capacidad de escalar aplicaciones genAI de manera eficiente en la nube es lo que permitirá a los equipos de ingeniería continuar construyendo e iterando aplicaciones de próxima generación. La nube nativa es la forma más eficiente de construir.
