O objetivo principal do meu mais recente projeto de ETL (Extract, Transform, Load) foi unir 50 arquivos Excel de estrutura semelhante em um único arquivo, facilitando o acesso e a manipulação dos dados. Esse desafio, apesar de específico, demandou um cuidadoso planejamento e a aplicação de técnicas precisas de organização e consolidação.
Tecnologias e Ferramentas Utilizadas
No desenvolvimento deste projeto, utilizei um conjunto de ferramentas que se revelaram fundamentais para alcançar os resultados desejados. Entre elas estão Poetry, pyenv, Git, Pytest, Pandas, NumPy, Mkdocs, Pre-commit, Docstrings e Pydocstyle. A escolha dessas tecnologias foi estratégica, buscando a eficiência no gerenciamento do ambiente virtual e a garantia da qualidade do código.
Desafios e Superando Obstáculos
Enfrentei desafios significativos, especialmente na padronização do código Python de acordo com as diretrizes PEP-8. Além disso, o versionamento do código e a implementação de CI (Continuous Integration) foram aspectos desafiadores. A superação veio por meio de pesquisas minuciosas em documentações e, também, através das valiosas contribuições de outros profissionais de dados que já tinham experiência semelhante.
Funcionalidades Destacadas e Aprendizados
Destaco a organização do projeto como uma das funcionalidades mais valiosas. A segmentação do código ETL permitiu uma manutenção mais simples e eficiente, caso necessário. Além disso, a criação do ambiente virtual com Poetry se destacou, oferecendo um controle preciso das bibliotecas e suas versões, essencial para a estabilidade do projeto.
Ao criar este projeto, aprendi a estruturar ambientes de desenvolvimento de forma profissional, a lidar com o versionamento de código de maneira mais assertiva e a aplicar práticas de qualidade que viabilizam um ambiente de produção mais robusto.
Este projeto marcou não apenas a conquista do objetivo proposto, mas também o meu crescimento profissional, proporcionando um mergulho valioso no universo do git, da qualidade do código e da engenharia de software.
“Se você está interessado em dar uma olhada mais detalhada no projeto, pode encontrar o código-fonte completo no meu repositório do GitHub.”
