Merge pull request #95 from GispoCoding/Lahti-158-ilmoitusten-luku,-k…

…ohdentumattomat-uudelleen-nimeaminen

Lahti: Kohdentumattomien uudelleen nimeaminen

jkrimporter/conf.py

@@ -18,18 +18,21 @@
 __all__ = ["dbconf"]
 
 kohdentumattomat_filename = "kohdentumattomat"
-siirtotiedosto_fileext = ".csv"
-paatostiedosto_fileext = ".xlsx"
-ilmoitustiedosto_fileext = ".xlsx"
+csv_fileext = ".csv"
+excel_fileext = ".xlsx"
 
 
 def get_kohdentumattomat_siirtotiedosto_filename():
-    return kohdentumattomat_filename + siirtotiedosto_fileext
+    return f"{kohdentumattomat_filename}_kuljetukset{csv_fileext}"
 
 
 def get_kohdentumattomat_paatos_filename():
-    return kohdentumattomat_filename + paatostiedosto_fileext
+    return f"{kohdentumattomat_filename}_paatokset{excel_fileext}"
 
 
 def get_kohdentumattomat_ilmoitus_filename():
-    return kohdentumattomat_filename + ilmoitustiedosto_fileext
+    return f"{kohdentumattomat_filename}_ilmoitukset{excel_fileext}"
+
+
+def get_kohdentumattomat_lopetusilmoitus_filename():
+    return f"{kohdentumattomat_filename}_lopetusilmoitukset{excel_fileext}"

jkrimporter/datasheets.py

@@ -85,9 +85,6 @@ def get_ilmoitustiedosto_headers():
         "Kompostoria käyttävien rakennusten lukumäärä",
         "1. Kompostoria käyttävän rakennuksen tiedot:Haltijan etunimi",
         "1. Kompostoria käyttävän rakennuksen tiedot:Haltijan sukunimi",
-        "1. Kompostoria käyttävän rakennuksen tiedot:Rakennuksen katuosoite",
-        "1. Kompostoria käyttävän rakennuksen tiedot:Rakennuksen postinumero",
-        "1. Kompostoria käyttävän rakennuksen tiedot:Rakennuksen postitoimipaikka",
         "1. Kompostoria käyttävän rakennuksen tiedot:Viranomaisen lisäämä tarkenne",
         "1. Kompostoria käyttävän rakennuksen tiedot:Käsittelijän lisäämä tunniste",
         "Voimassaolopäivä",

jkrimporter/model.py

@@ -277,10 +277,10 @@ class Paatos:
 @dataclass
 class IlmoituksenHenkilo:
     nimi: str
-    osoite: str
-    postinumero: str
-    postitoimipaikka: str
-    rakennus: Optional[List[str]]  # kompostoijan prt
+    osoite: Optional[str] = None
+    postinumero: Optional[str] = None
+    postitoimipaikka: Optional[str] = None
+    rakennus: Optional[List[str]] = None  # kompostoijan prt
 
 
 @dataclass

jkrimporter/providers/lahti/lahtiprovider.py

@@ -465,16 +465,12 @@ def as_jkr_data(self):
                         postinumero=row.vastuuhenkilo_postinumero,
                         postitoimipaikka=row.vastuuhenkilo_postitoimipaikka,
                         osoite=row.vastuuhenkilo_osoite,
-                        rakennus=None,
                     ),
                     'kompostoijat': [IlmoituksenHenkilo(
                         nimi=self._get_name(
                             row.kayttaja_sukunimi,
                             row.kayttaja_etunimi
                         ),
-                        postinumero=row.kayttaja_postinumero,
-                        postitoimipaikka=row.kayttaja_postitoimipaikka,
-                        osoite=row.kayttaja_osoite,
                         rakennus=row.prt,
                     )],
                     'onko_kimppa': (
@@ -491,9 +487,6 @@ def as_jkr_data(self):
                         row.kayttaja_sukunimi,
                         row.kayttaja_etunimi
                     ),
-                    postinumero=row.kayttaja_postinumero,
-                    postitoimipaikka=row.kayttaja_postitoimipaikka,
-                    osoite=row.kayttaja_osoite,
                     rakennus=row.prt
                 ))
                 grouped_data[key]['rawdata'].append(row.rawdata)

jkrimporter/providers/lahti/models.py

@@ -467,15 +467,6 @@ class Ilmoitus(BaseModel):
     kayttaja_sukunimi: Optional[str] = Field(
         None, alias="1. Kompostoria käyttävän rakennuksen tiedot:Haltijan sukunimi"
     )
-    kayttaja_postinumero: str = Field(
-        alias="1. Kompostoria käyttävän rakennuksen tiedot:Rakennuksen postinumero"
-    )
-    kayttaja_postitoimipaikka: str = Field(
-        alias="1. Kompostoria käyttävän rakennuksen tiedot:Rakennuksen postitoimipaikka"
-    )
-    kayttaja_osoite: str = Field(
-        alias="1. Kompostoria käyttävän rakennuksen tiedot:Rakennuksen katuosoite"
-    )
     # Store the original row.
     rawdata: Optional[Dict[str, str]]
 

jkrimporter/utils/ilmoitus.py

@@ -4,7 +4,10 @@
 
 import openpyxl
 
-from jkrimporter.conf import get_kohdentumattomat_ilmoitus_filename
+from jkrimporter.conf import (
+    get_kohdentumattomat_ilmoitus_filename,
+    get_kohdentumattomat_lopetusilmoitus_filename,
+)
 from jkrimporter.datasheets import (
     get_ilmoitustiedosto_headers,
     get_lopetustiedosto_headers
@@ -66,7 +69,7 @@ def export_kohdentumattomat_lopetusilmoitukset(
     expected_headers = get_lopetustiedosto_headers()
 
     output_file_path_failed = os.path.join(
-        folder, get_kohdentumattomat_ilmoitus_filename()
+        folder, get_kohdentumattomat_lopetusilmoitus_filename()
     )
 
     if os.path.exists(output_file_path_failed):

tests/test_kompostori.py

@@ -40,7 +40,7 @@ def test_kompostori(engine, datadir):
     assert session.query(func.count(KompostorinKohteet.kompostori_id)).scalar() == 3
 
     # Kohdentumattomat.xlsx sisältää neljä kohdentumatonta ilmoitusriviä.
-    xlsx_file_path = os.path.join(datadir, "kohdentumattomat.xlsx")
+    xlsx_file_path = os.path.join(datadir, "kohdentumattomat_ilmoitukset.xlsx")
     workbook = load_workbook(xlsx_file_path)
     sheet = workbook[workbook.sheetnames[0]]
     assert sheet.max_row == 6

tests/test_kompostori_end_dates.py

@@ -36,8 +36,8 @@ def test_lopetusilmoitus(engine, datadir):
     # Kahdelle kompostorille asettuu loppupäivämääräksi 18.8.2022.
     assert session.query(func.count(Kompostori.id)).filter(Kompostori.loppupvm == end_date).scalar() == 2
 
-    # Kohdentumattomat.xlsx sisältää yhden kohdentumattoman lopetusilmoitusrivin.
-    xlsx_file_path = os.path.join(datadir, "kohdentumattomat.xlsx")
+    # Kohdentumattomat tiedostossa kaksi riviä.
+    xlsx_file_path = os.path.join(datadir, "kohdentumattomat_lopetusilmoitukset.xlsx")
     workbook = load_workbook(xlsx_file_path)
     sheet = workbook[workbook.sheetnames[0]]
     assert sheet.max_row == 2

tests/test_lahti_siirtotiedosto.py

@@ -27,7 +27,9 @@
 @pytest.fixture(scope="module", autouse=True)
 def engine():
     engine = create_engine(
-        "postgresql://{username}:{password}@{host}:{port}/{dbname}".format(**conf.dbconf),
+        "postgresql://{username}:{password}@{host}:{port}/{dbname}".format(
+            **conf.dbconf
+        ),
         future=True,
         json_serializer=json_dumps
     )
@@ -241,7 +243,7 @@ def test_import_data(engine, datadir):
     assert session.query(func.count(Keskeytys.id)).scalar() == 1
 
     # Kohdentumattomat.csv sisältää kuusi kohdentumatonta Asiakas-riviä.
-    csv_file_path = os.path.join(datadir, "kohdentumattomat.csv")
+    csv_file_path = os.path.join(datadir, "kohdentumattomat_kuljetukset.csv")
     assert os.path.isfile(csv_file_path), f"File not found: {csv_file_path}"
     with open(csv_file_path, 'r') as csvfile:
         csv_reader = csv.reader(csvfile)
@@ -256,7 +258,7 @@ def test_import_data(engine, datadir):
     fixed_content = csv_file_content.replace("000000000W", "100456789B")
     fixed_folder = os.path.join(datadir, "fixed")
     os.makedirs(fixed_folder)
-    csv_file_write_path = os.path.join(fixed_folder, "kohdentumattomat.csv")
+    csv_file_write_path = os.path.join(fixed_folder, "kohdentumattomat_kuljetukset.csv")
     with open(csv_file_write_path, "w") as csvfile:
         csvfile.write(fixed_content)
 

tests/test_viranomaispaatokset.py

@@ -188,7 +188,7 @@ def test_import_paatokset(engine, datadir):
     assert paatos_120[3] == rakennus_134567890B_id
 
     # Kohdentumattomat.xlsx sisältää kaksi kohdentumatonta päätöstä.
-    xlsx_file_path = os.path.join(datadir, "kohdentumattomat.xlsx")
+    xlsx_file_path = os.path.join(datadir, "kohdentumattomat_paatokset.xlsx")
     workbook = load_workbook(xlsx_file_path)
     sheet = workbook[workbook.sheetnames[0]]
     assert sheet.max_row == 3