São Paulo, São Paulo, Brazil
• Profissional pós-graduado com mais de 15 anos de experiência no mercado de Tecnologia da Informação, especializado em Cloud, Dados e Software. • Experiência em liderança técnica de equipes e projetos de Arquitetura e Engenharia de Dados. • Atualmente, desempenho funções como Especialista em Arquitetura de Dados e Engenheira de Dados, além de atuar como Líder Técnico. Estou envolvido no desenvolvimento de soluções avançadas de Big Data em ambientes de Cloud, como AWS, GCP e Azure.
• Serviços Profissionais. - Consultor especializado: Arquiteto e Engenheiro de Dados. • Atuou como profissional especializado em dados no desenvolvimento de soluções de Big Data e Analytics em Cloud (Databricks, Amazon Web Services, Google Cloud Platform e Microsoft Azure). • Principais Conhecimentos Utilizados: - AWS: S3, Lake Formation, Glue, EMR, Lambda, API Gateway, Step Functions, Redshift, Athena, Kinesis (Data Streams, Firehose, Analytics), EventBridge, SQS, SNS, MSK (Kafka gerenciado), RDS, Aurora, DynamoDB, DataSync, DMS, QuickSight, SageMaker, Bedrock (GenIA), Comprehend, Lex, Translate, Rekognition, CloudWatch, CloudTrail, IAM, Secrets Manager, CodeCommit, CodeBuild, CodePipeline, CloudFormation, Boto3, EC2, ECS, EKS, Batch; - GCP: BigQuery, Cloud Storage, Dataproc, Dataflow, Dataplex, Datastream, Data Fusion, Pub/Sub, Functions, Cloud Run, API Gateway, Bigtable, Datastore, Firestore, AlloyDB, Cloud SQL, Looker, Looker studio, Vertex AI, Gemini Models, Dialogflow, Document AI, Vision AI, Speech-to-Text, Text-to-Speech, Translation AI, Cloud Build, Artifact Registry, SDK, Trace, IAM, Secret Manager, Logging, Monitoring, Compute Engine, GKE, Cloud Compuser (Airflow gerenciado); - Azure: Data Factory, Synapse Analytics, Data Lake Storage, SQL Database, Cosmos DB, Stream Analytics, Microsoft Fabric, Purview, ML, AI Studio, OpenAI Service (GenAI), Cognitive Services, AI Search, Event Hub, DevOps, Pipelines, AKS, HDInsight, PowerBI; - Databricks: Spark, PySpark, SQL, Workflows, Delta Tables, Unity Catalog, Data Lineage, Data Governance, Delta Sharing, MLflow, AutoML, LLM Serving, Generative AI workflows, Vector Search; - Arquitetura: Data Lake, Big Data Analytics, Lakehouse, Data Mesh, Microservices, Data Science, IA, IA Generativa (GenAI), MLOps e Otimização de Dados; - Outras Tecnologias: Airflow, Nifi, Kafka, Python, Otimização PuLP e Gurobi, Pesquisa Operacional e Modelos Matemáticos.
• Como Monitor e Professor Assistente, atuei na coordenação da turma e desenvolvimento de aulas e laboratórios para o curso de MBA Big Data Analytics. • Principais conhecimentos utilizados: - Conceitos e Fundamentos de Big Data Analytics; - Arquitetura de Dados; - Engenharia de Dados; - Análise de dados; - Cloud AWS; - Databricks; - Spark; - Ecossistema de Big Data Open Source (Hadoop, Hdfs, Hbase, Hive, Nifi, Storm, Zookeeper, Kafka, Spark); - Análise de dados; - Machine Learning. • Principais projetos e atividades: - Acompanhamento e orientação do curso MBA Big Data Analytics. - Desenvolvimento de material e laboratório para aula introdutória e noções básicas de Cloud on AWS. - Desenvolvimento de melhorias para aulas de ingestão de dados com Sqoop, Flume, Nifi, Kafka e Spark Streaming. - Auxiliar os professores na orientação e monitoramento de projetos de Data Analytics e Machine Learning na Databricks. - Auxílio aos professores nas aulas e laboratórios do curso MBA Big Data Analytics. - Participação na banca de apresentação dos trabalhos finais do curso MBA Big Data Analytics.
• Área: Engenharia de Dados e Data Analytics. - Cargo inicial: Engenheiro de Dados Sênior - Cargo Final: Líder Técnico de Engenharia de Dados. • Com a função de Engenheiro e Arquiteto de Dados, atuei no desenvolvimento de soluções e liderando projetos de Big Data em Cloud (AWS e GCP). • Principais conhecimentos utilizados: - Ecossistema híbrido, em cloud GCP (Cloud Composer, BigQuery, Cloud Storage) e AWS (Ec2, S3, DMS, Lambda, Kinesis, EMR, Glue, SQS, SNS, Step Function, DynamoDB, Redshift, Athena, Codecommit, CodePipeline, CodeBuild, CodeDeploy, CloudFormation, CloudWatch, Lake Formation, SageMaker, Elasticsearch Service); - AWS Serverless Data Lake Framework (SDLF); - Python; - Airflow; - Spark; - Nifi; - GitLab; - Jenkins; - Arquitetura de Dados; - DevOps; - Metodologia Ágil/Scrum. • Principais projetos e atividades: - Desenvolvimento arquiteturas de solução para Big Data e DevOps. - Manutenção e suporte do atual ambiente de Analytics & Data Lake. - Implantação do Apache Airflow como orquestrador de dados e ingestão de dados. - Integração do ecossistema de Big Data Multi-Cloud (AWS e GCP). - Migração de dados do BigQuery para Redshift, utilizando o Airflow e AWS Glue. - Liderança técnica e construção do ambiente de Analytics & Data Lake da Raia Drogasil em parceria com o time de Professional Services da AWS. Baseado no Serverless Data Lake Framework (SDLF) da AWS. - Implantação do Apache Nifi na ingestão de dados. - Implantação do Apache Hudi em processamento de dados UPSERT.
• Área: Professional Services - Cargo: Especialista/Engenheiro de Dados. • Com a função de Arquiteto de Solução e Engenheiro Dados, atuei no desenvolvimento de projetos de Big Data em Cloud AWS. • Principais conhecimentos utilizados: - AWS (Ec2, S3, DMS, Lambda, Kinesis, EMR, Glue, SQS, SNS, Step Function, DynamoDB, Redshift, Athena, CloudWatch, VPC, Load Balance, System Manager, RDS); - Nifi; - Spark; - Python; - Shell Script; - Zeppelin; - GitHub; - Metodologia ágil Scrum. • Principais projetos e atividades: - Construção de Data Lakes em Cloud AWS de início ao fim. - Construção e sustentação do ambiente de Big Data e Analytics da Embraer em parceria com o time de Professional Services da AWS.
• Área: Big Data Analytics. - Cargo: Consultor/Engenheiro de Dados. • Com a função de Engenheiro de Big Data e Desenvolvedor, atuei em projetos de Big Data e sustentação do Data Lake. • Principais conhecimentos utilizados: - Ecossistema do Big Data open source (Hadoop, Hdfs, Hbase, Hive, Nifi, Storm, Zookeeper, Kafka, Spark); - HDP (Hortonworks Data Platform) e HDF (Hortonworks Data Flow); - MongoDB; - NoSQL; - Python; - Shell Script; - GitHub; - Parametrização, tratamento e ingestão de dados em batch e streaming; - Desenvolvimentos de APIs para ingestão a partir de banco de dados relacional (DB2, SQL Server, Oracle) e não-relacional (MongoDB, HBase); - Zeppelin; - Hue; - Tableau; - Qualidade de Dados; - Control-M; - Metodologia Ágil. • Principais projetos e atividades: - Construção e sustentação do ambiente de Big Data e Analytics na Hortonworks On-premises. - Desenvolvimento de ingestão de dados de inúmeras tabelas, integrando diversas fontes de dados diferentes (SQL Server, Oracle, DB2) com o Data Lake, através de um motor em Java, NiFi e Spark. - Desenvolvimento de Streaming de dados com Kafka, NiFi e Spark. - Automatização de transferências de arquivos de dados entre o Data Lake e servidores internos com Shell Script. - Controle, execução e monitoria das implantações dos projetos no ecossistemas do Big Data. - Administração do ecossistema de Big Data. - Estruturação, controle e monitoria dos Jobs de ingestão de dados, orquestração no Control-M.