attachments.qmd

# Budowanie infrastruktury chmurowej {#sec-iac}

## Polecenie AWS CLI dla usługi EMR {#sec-emr}

\small

```bash
aws emr create-cluster --name="MyEMRCluster" \
    --release-label emr-6.8.0 \
    --applications Name=JupyterHub Name=Hadoop Name=Spark \
    --log-uri s3://emr-logs-beer-and-wine/MyJupyterClusterLogs \
    --use-default-roles \
    --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.xlarge, \
        BidPrice=OnDemandPrice  
        InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.xlarge,BidPrice=OnDemandPrice \
    --ebs-root-volume-size 32 \
    --configurations file://emr-configurations.json \
    --bootstrap-actions 
        Path=s3://misc-beer-and-wine/install_python_libraries.sh,Name=InstallJupyterLibs
```

\normalsize

## Plik `install-my-jupyter-libraries.sh` 
Odpowiada za zainstalowanie dodatkowych bibliotek pythonowych na węzłach typy _master_ oraz _worker_. Wykorzystany w parametrze `--bootstrap-actions` @sec-emr
 \small
```bash
#!/bin/bash

sudo python3 -m pip install matplotlib plotnine wordcloud bs4 html nltk pandas \ 
    && patchworklib boto3 pyspark jupyter-client scikit-misc
```

\normalsize

## Plik `emr-configurations.json` {#sec-emr-config}
Odpowiada za automatycznie zapisywanie notebooków w serwisie S3. Wykorzystany w parametrze `--configurations` @sec-emr.
\small
```json
[
    {
        "Classification": "jupyter-s3-conf",
        "Properties": {
            "s3.persistence.enabled": "true",
            "s3.persistence.bucket": "emr-jupyter-notebooks-zjasdu123"
        }
    }
]
```
\normalsize
## Polecenie AWS CLI dla usługi S3

Koszyki S3 zostały utworzone przy pomocy poniższego polecenia:
```
aws s3api create-bucket --acl private --bucket <nazwa koszka>
```