scraping-cr-lan

Python開発案件の情報取得スクレイピング、MySQLへのデータ保存、及びGmailを利用したAPI送信

特定のサイトより、

・Python開発案件を自動でスクレイピング

・MySQLへのデータ保存

・Gmailを利用しAPI送信

を可能とするプログラム

要件は以下の通り

• クラウドソーシングサイトにおける、システム開発案件のうちpythonを使用した案件のみを抽出。
• CSVファイル化。12時間ごとにファイルを作成し、指定のメールアドレスへ送信する。
• 取得対象カラムは「取得日時」「案件名」「案件URL」「金額」の4種類。
• 取得した案件情報およびメール送信ログ情報はローカルのMysqlデータベースに保存する。
• 保存するテーブルは2つとし、案件情報を保存するテーブルとメール送信ログ情報を保存するテーブルとする。
• クラウドワークスとランサーズの2サイトを対象とする。

【環境】

• Mac 10.14
• python 3.7
• selenium 3.141.0
• chrome 77
• beautifulsoup4 4.7.1

【前提条件】

• chromedriver　インストール済み
• token.pickle　実行時ディレクトリに存在
• credentials-gmail.json　実行時ディレクトリに存在