Ingegnere dei dati

Responsabilità principali

• Elaborare dati finanziari complessi - Gestire insiemi di dati finanziari su larga scala provenienti da più fonti, tra cui banche, gateway di pagamento e processori, garantendo l'integrità dei dati in diversi formati e strutture.
• Creare e mantenere pipeline complesse - Sviluppare e ottimizzare pipeline che applicano regole aziendali complesse, calcoli finanziari e trasformazioni per un'elaborazione accurata delle transazioni.
• Elaborazione time-bound ed event-driven - Progettazione di architetture event-driven per soddisfare SLA rigorosi per l'elaborazione delle transazioni, il regolamento e la riconciliazione con banche e partner di pagamento.
• Consentire la creazione di report e approfondimenti AI - Strutturare e preparare i dati per analisi avanzate, report e approfondimenti AI per migliorare i tassi di successo dei pagamenti, individuare le frodi e ottimizzare i flussi di transazioni.

Cosa portare

• Programmazione: Forte competenza in Python e SQL, con ulteriore esperienza in linguaggi come Java o Scala.
• Tecnologie per i big data: Esperienza diretta con framework come Spark (PySpark), Kafka, Apache Hudi, Iceberg, Apache Flink o strumenti simili per l'elaborazione distribuita dei dati e lo streaming in tempo reale.
• Piattaforme cloud: familiarità con piattaforme cloud come AWS, Google Cloud Platform (GCP) o Microsoft Azure per la creazione e la gestione di infrastrutture dati.
• Gestione e modellazione dei dati: Forte comprensione dei concetti di data warehousing e dei principi di modellazione dei dati.
• Quadri ETL: Esperienza con strumenti ETL come Apache Airflow o framework di trasformazione dei dati analoghi.
• Laghi di dati e storage: Competenza nell'utilizzo di data lake e soluzioni di archiviazione basate su cloud come Amazon S3, Google Cloud Storage o Azure Blob Storage.
• Controllo delle versioni: Esperienza in Git per il controllo delle versioni e la codifica collaborativa.
• Ottimizzazione delle prestazioni: Esperienza nella messa a punto delle prestazioni per l'elaborazione di dati su larga scala, compresi il partizionamento, l'indicizzazione e l'ottimizzazione delle query.

Esperienza e requisiti

• Laurea in informatica, tecnologia dell'informazione o esperienza equivalente.
• 1-5 anni di esperienza in ingegneria dei dati, sviluppo ETL o gestione di database.
• Una precedente esperienza in ambienti basati sul cloud (ad esempio, AWS, GCP, Azure) è altamente auspicabile.
• Comprovata esperienza di lavoro con dataset di grandi dimensioni in ambienti di produzione, con particolare attenzione alla messa a punto e all'ottimizzazione delle prestazioni.