数据工程师

主要职责

• 处理复杂的财务数据 - 处理来自银行、支付网关和处理器等多个来源的大规模财务数据集，确保不同格式和结构的数据完整性。
• 建立和维护复杂的管道 - 开发和优化管道，应用复杂的业务规则、财务计算和转换，以实现准确的交易处理。
• 有时限和事件驱动的处理 - 设计事件驱动架构，以满足与银行和支付合作伙伴进行交易处理、结算和对账的严格 SLA 要求。
• 实现报告和人工智能洞察力 - 为高级分析、报告和人工智能驱动的洞察力构建和准备数据，以提高支付成功率、检测欺诈行为并优化交易流。

您需要携带的物品

• 编程：精通 Python 和 SQL，并具有 Java 或 Scala 等语言的其他经验。
• 大数据技术：拥有 Spark (PySpark)、Kafka、Apache Hudi、Iceberg、Apache Flink 等框架或类似分布式数据处理和实时流工具的实践经验。
• 云平台：熟悉 AWS、Google Cloud Platform (GCP) 或 Microsoft Azure 等用于构建和管理数据基础设施的云平台。
• 数据仓库和建模：非常了解数据仓库概念和数据建模原则。
• ETL 框架：具有使用 ETL 工具（如 Apache Airflow 或类似数据转换框架）的经验。
• 数据湖和存储：熟练使用数据湖和基于云的存储解决方案，如 Amazon S3、Google Cloud Storage 或 Azure Blob Storage。
• 版本控制：擅长使用 Git 进行版本控制和协作编码。
• 性能优化：擅长大规模数据处理的性能调整，包括分区、索引和查询优化。

经验和要求

• 计算机科学、信息技术学士学位或同等经验。
• 1-5 年数据工程、ETL 开发或数据库管理经验。
• 最好曾在基于云的环境（如 AWS、GCP、Azure）中工作过。
• 拥有在生产环境中处理大规模数据集的丰富经验，重点关注性能调整和优化。