Fazer os scripts Python processarem os últimos dados disponíveis automaticamente

[pvfrota]

Descrição

Fazer os scripts Python lerem o último PDF e processarem o último JSON disponível de forma automática

[emoryr]

Aqui eu pensei se poderiamos unir a issue #14 .
Se não seria interessante transformar tanto o download_data.py quanto a extract_data.py em classe, e assim com um main.py fazer o fluxo de coletar a informação e tratar.

[pvfrota]

Acho que pode ser uma boa, temos que pensar melhor nesse caso também pq vamos ter que começar a processar todos os arquivos em busca de inconsistências, e também para buscar o histórico de algumas métricas.

[emoryr]

Pensei em criar uma nova issue para que fosse guardado num sql. Assim podemos ate escalar para um serviço na nuvem ou algo assim.

[pvfrota]

@emoryr Não sei se vale a pena subir num BD relacional, talvez seja trabalho a toa, a gente já tem escalabilidade garantida utilizando o GitHub + um CDN se for necessário

Fora os custos atrelados a subir um RDS da vida pra rodar o BD

[pvfrota]

A PR anexada foi fechada, mas o problema principal da discussão ainda continua, então estou reabrindo

[rbelem]

@pvfrota essa issue já pode ser fechada? A automatização resolve ou ainda falta algum passo?