Databricks/Python Developer Senior | Remote

• Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark) para processamento e análise de grandes conjuntos de dados; • Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes; • Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código; • Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos; • Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados; • Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento; • Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados; • Manter documentação técnica abrangente para os processos e soluções implementadas.