listando e baixando arquivos do drive

[joellensilva]

• este "coletor" possui 2 funções:

  • listar todas as planilhas que foram baixadas e armazenadas no drive, incluindo a data (manual e periodicamente)
  • no momento do processamento dos dados, acessar essa lista, verificar se as planilhas para o órgão/mês/ano requisitado existe e, se sim, baixar as planilhas para serem processadas (a cada coleta/processamento dos dados)

• O script faz uso de um json (credentials.json), que contém os dados da conta de serviço, não presente aqui porque é privado.

• A variável de ambiente requisitada, FILE_ID, será passada pelo próprio executor-automatizado no processamento dos dados.

• O script list_drive_files.py NÃO será executado no processamento dos dados, uma vez criada a lista, o script será executado periodicamente, conforme adição de novos dados no drive.

[danielfireman]

Esse arquivo vai ficar onde onde?

Perguntando pois, ao invés de um arquivo local, podemos transformar ele em um segredo enviado via variável de ambiente. Se a API exigir que ele seja um arquivo a gente deve persistir em um arquivo o conteúdo da veriável.

Isso evita que arquivos com credenciais fiquem armazenados em máquinas locais.

[rdurl0]

conversei com a @joellensilva e ela sugeriu criar uma autorização/token no próprio github. Eu não sei dizer qual é a melhor solução para usar essas credenciais, mas guardei os arquivos credentials.json e .env no cofre da TB se precisarem fazer um backup - esses dados ficarão guardados em segurança e poderão ser recuperados a qualquer momento.

[rdurl0]

Incluir o texto de PR no README.md

[rdurl0]

Faltou só o README, acho que a descrição que @joellensilva usou no PR pode ser usada nele.
Ótimo trabalho, Jo! 🥇

[danielfireman]

Além do README que o @rdurl0 mencionou, estou com outra dúvida:

O script faz uso de um json (credentials.json), que contém os dados da conta de serviço, não presente aqui porque é privado.

O arquivo é privado? Se é privado ele vem de onde e como? Por que não usar a abordagem de tê-lo como secret e materializar o conteúdo do secret em um arquivo durante o uso. A vantagem dessa abordagem é que a dependência exigida pelo estágio fica clara e coerente com as dependências de outros estágios.