newdwh2021/ecs/dataimport/README.md

データ取り込み処理

概要

データ取り込みバケット(mbj-newdwh2021-<環境名>-data)に配置されたデータファイルを、設定に基づいてデータベースに登録する処理を行う 処理順序等の詳細は設計書を参照のこと

環境構築

事前準備

• Wiki - Python環境構築の「pipenvの導入」まで完了していること

Python仮想環境にパッケージをインストール

• このドキュメントと同じ階層でコマンドラインを開き、以下のコマンドを実行する

  pipenv install -r requirements.txt
  

• 以降、依存モジュールの追加が発生した場合に、requirements.txtに追記した上で、上記のコマンドを実行すること

ローカルでの実行手順

• 当ディレクトリ内に.vscode/launch.jsonを作成し、以下のコードを貼り付ける

  • 既にある場合は作成不要

  {
    "version": "0.2.0",
    "configurations": [
      {
        "name": "Python: データ取り込み処理",
        "type": "python",
        "request": "launch",
        "program": "ecs/dataimport/controller.py",
        "console": "integratedTerminal",
        "justMyCode": true,
        "envFile": "${workspaceFolder}/.env",
      }
    ]
  }
  

• 当ディレクトリ内に.envファイルを、作成し、環境変数を設定する

  • 設定する環境変数は設計書を参照のこと

• F5キーを押し、処理を実行する