Ingeniero de datos

Principales responsabilidades

• Procesamiento de datos financieros complejos - Gestione conjuntos de datos financieros a gran escala procedentes de múltiples fuentes, incluidos bancos, pasarelas de pago y procesadores, garantizando la integridad de los datos en diferentes formatos y estructuras.
• Creación y mantenimiento de canalizaciones complejas: desarrollo y optimización de canalizaciones que aplican reglas empresariales complejas, cálculos financieros y transformaciones para un procesamiento preciso de las transacciones.
• Procesamiento basado en plazos y eventos: diseñe arquitecturas basadas en eventos para cumplir estrictos acuerdos de nivel de servicio para el procesamiento de transacciones, la liquidación y la conciliación con bancos y socios de pago.
• Habilite la elaboración de informes y las perspectivas de IA: estructure y prepare los datos para análisis avanzados, elaboración de informes y perspectivas basadas en IA para mejorar las tasas de éxito de los pagos, detectar el fraude y optimizar los flujos de transacciones.

Lo que debe llevar

• Programación: Gran dominio de Python y SQL, con experiencia adicional en lenguajes como Java o Scala.
• Tecnologías de big data: Experiencia práctica con frameworks como Spark (PySpark), Kafka, Apache Hudi, Iceberg, Apache Flink o herramientas similares para el procesamiento de datos distribuidos y streaming en tiempo real.
• Plataformas en la nube: Familiaridad con plataformas en la nube como AWS, Google Cloud Platform (GCP) o Microsoft Azure para crear y gestionar infraestructuras de datos.
• Almacenamiento y modelado de datos: Conocimiento profundo de los conceptos de almacenamiento de datos y los principios de modelado de datos.
• Marcos ETL: Experiencia con herramientas ETL como Apache Airflow o marcos de transformación de datos comparables.
• Lagos de datos y almacenamiento: Competencia en el trabajo con lagos de datos y soluciones de almacenamiento basadas en la nube como Amazon S3, Google Cloud Storage o Azure Blob Storage.
• Control de versiones: Experiencia en Git para el control de versiones y la codificación colaborativa.
• Optimización del rendimiento: Experiencia en el ajuste del rendimiento para el procesamiento de datos a gran escala, incluida la partición, indexación y optimización de consultas.

Experiencia y requisitos

• Licenciatura en Informática, Tecnología de la Información o experiencia equivalente.
• De 1 a 5 años de experiencia en ingeniería de datos, desarrollo ETL o gestión de bases de datos.
• La experiencia previa en entornos basados en la nube (por ejemplo, AWS, GCP, Azure) es muy deseable.
• Experiencia demostrada trabajando con conjuntos de datos a gran escala en entornos de producción, con especial atención al ajuste y la optimización del rendimiento.