Adiciona raspador para São Luís-MA #1353
Merged
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
AO ABRIR uma Pull Request de um novo raspador (spider), marque com um
X
cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.Layout do site publicador de diários oficiais
Marque apenas um dos itens a seguir:
Código da(s) spider(s)
custom_settings
em meu raspador.Testes
.log
deste teste está anexado na PR.ma_sao_luis_ultima.log | ma_sao_luis_ultima.csv
.log
e.csv
deste teste estão anexados na PR.ma_sao_luis_periodo_1ano.log | ma_sao_luis_periodo_1ano.csv
ma_sao_luis_periodo_2meses.log | ma_sao_luis_periodo_2meses.csv
ma_sao_luis_periodo_1mes.log | ma_sao_luis_periodo_1mes.csv
ma_sao_luis_periodo_1semana.log | ma_sao_luis_periodo_1semana.csv
.log
e.csv
deste teste estão anexados na PR.Como a série histórica é enorme e os documentos são grandes, não foi possível fazer a coleta completa. Por isso, foram feitas 3 coletas de 3 anos, no começo, meio e fim da série histórica:
Antigo (1993-01-01 a 1995-12-30):
ma_sao_luis_periodo_3anos_antigo.log | ma_sao_luis_periodo_3anos_antigo.csv
Meio (2007-01-01 a 2010-12-30):
ma_sao_luis_periodo_3anos_meio.log | ma_sao_luis_periodo_3anos_meio.csv
Recente (2021-01-01 até hoje, 2025-01-12):
ma_sao_luis_periodo_3anos_recente.log | ma_sao_luis_periodo_3anos_recente.csv
Verificações
.csv
gerados pela minha coleta conforme a documentação não encontrando problemas..log
gerados pela minha coleta conforme a documentação não encontrando problemas.Descrição
resolve #615
closes #887
O raspador implementa um aviso de erro no log para casos em que não há arquivo da edição completa (exemplo é o dia 7/julho/2022) para não impedir o código de seguir executando.