Configuração de Logs nos Scripts de Scraping #7
Description
Objetivo:
Implementar um sistema de logging para capturar e monitorar erros, status de operações e eventos importantes nos scripts de scraping. Os logs ajudarão a equipe a depurar problemas e acompanhar o funcionamento dos scripts, melhorando a observabilidade e a manutenção.
- Instalar biblioteca de logging para gerenciamento de logs
- Instalar a bilbioteca logging/loguru ou pesquisar a utilização do elastic search no projeto
- Definir um formato padrão para os logs:
- Configurar um formato que inclua informações como data, hora, nível de erro
(INFO, DEBUG, WARNING, ERROR), nome do script e a mensagem.
- Configurar os logs para serem armazenados no diretório
/pipeline/logs:
- Verificar se o diretório de logs existe e criar um script de inicialização para gerar o diretório caso ele esteja ausente.
- Simular erros para forçar os logs
- Criar um script de teste que execute o scraping em um cenário simulado para forçar erros.
Sugestões
- Manter logs de erros críticos e logs informativos em arquivos distintos, se necessário.
Possiveis impedimentos
- Certificar de definir permissões corretas, especialmente em um ambiente Dockerizado.