Madrid, Community of Madrid, Spain
Hola! Soy Diego, un desarrollador especializado en datos. En mi último puesto de Data Engineer realizo el desarrollo y mantenimiento de notebooks y pipelines utilizando Python, SQL, Spark, Synapse y Azure. Durante mi experiencia laboral participé en equipos multidisciplinarios en empresas y organismos públicos, usando metodologías ágiles como Scrum. Stack: Python - SQL - ETL - PySpark - Spark - Synapse - Data Factory - Azure - Data Warehouse - Data Vault
Migración de SAS a Azure creando un Data Warehouse con un modelado Data Vault Desarrollo de procesos ETL en Synapse Extracción de datos de ficheros Parquet y Excel Transformación de datos con PySpark Almacenamiento en Data Lake y base de datos Evaluar la calidad del dato y, si es posible, recomendar acciones de mejora Consultas SQL con Data Studio para verificar los datos en las tablas Entender las necesidades del cliente y traducirlas a soluciones efectivas Control de versiones con Github
Desarrollo de procesos ETL en Data Factory Extracción de datos de diversas fuentes incluyendo BBDD y ficheros Excel Transformación de datos con PySpark en Databricks Control de versiones con Github