Usar AWS Glue para data pipelines siempre ha sido un default como ingenieros de datos; pero no siempre se requiere por ser muy costoso o complejo.
Entonces para data pipelines ligeros se puede pensar en AWS Lambda + DuckDB; pero la pregunta es: ¿Cuál es el límite que puedo tener para un data pipeline ligero? 🚀🚀🚀
Grupo de WhatsApp:
https://chat.whatsapp.com/LbMcUQPmvvSD9lTYhv7BOB