Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Adiciona raspador para São Luís-MA #1353

Merged
merged 2 commits into from
Jan 13, 2025
Merged

Adiciona raspador para São Luís-MA #1353

merged 2 commits into from
Jan 13, 2025

Conversation

trevineju
Copy link
Member

@trevineju trevineju commented Jan 13, 2025

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

  • O layout não se parece com nenhum caso da lista de layouts padrão
  • É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
  • É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

  • O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
  • O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
  • O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
  • Explicitar o atributo de classe end_date não se fez necessário.
  • Não utilizo custom_settings em meu raspador.

Testes

Como a série histórica é enorme e os documentos são grandes, não foi possível fazer a coleta completa. Por isso, foram feitas 3 coletas de 3 anos, no começo, meio e fim da série histórica:

Antigo (1993-01-01 a 1995-12-30):
ma_sao_luis_periodo_3anos_antigo.log | ma_sao_luis_periodo_3anos_antigo.csv
Meio (2007-01-01 a 2010-12-30):
ma_sao_luis_periodo_3anos_meio.log | ma_sao_luis_periodo_3anos_meio.csv
Recente (2021-01-01 até hoje, 2025-01-12):
ma_sao_luis_periodo_3anos_recente.log | ma_sao_luis_periodo_3anos_recente.csv

Verificações

  • Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

resolve #615
closes #887

O raspador implementa um aviso de erro no log para casos em que não há arquivo da edição completa (exemplo é o dia 7/julho/2022) para não impedir o código de seguir executando.

@trevineju trevineju merged commit 4be2a58 into main Jan 13, 2025
2 checks passed
@trevineju trevineju deleted the add-sao-luis branch January 13, 2025 03:31
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
Status: em produção
Development

Successfully merging this pull request may close these issues.

São Luís-MA
1 participant