4.5 KiB
4.5 KiB
実消化過去データアーカイブ処理
概要
実消化過去データアーカイブ処理。
環境情報
- Python 3.12
- MySQL 8.23
- VSCode
環境構築
-
Python の構築
- Merck_NewDWH 開発 2021 の Wiki、Python 環境構築を参照
- 「Pipenv の導入」までを行っておくこと
- 構築完了後、プロジェクト配下で以下のコマンドを実行し、Python の仮想環境を作成する
pipenv install --dev --python <pyenvでインストールしたpythonバージョン>- この手順で出力される仮想環境のパスは、後述する VSCode の設定手順で使用するため、控えておく
- Merck_NewDWH 開発 2021 の Wiki、Python 環境構築を参照
-
MySQL の環境構築
- Windows の場合、以下のリンクからダウンロードする
- Docker を利用する場合、「newsdwh-tools」リポジトリの MySQL 設定を使用すると便利
- 「crm-table-to-ddl」フォルダ内で以下のコマンドを実行すると
docker-compose up -d- Docker の構築手順は、Docker のセットアップ手順を参照のこと
- 「crm-table-to-ddl」フォルダ内で以下のコマンドを実行すると
- データを投入する
- 立ち上げたデータベースに「src05」スキーマを作成する
- ローカル開発用データをダウンロードし、mysql コマンドを使用して復元する
mysql -h <ホスト名> -P <ポート> -u <ユーザー名> -p src05 < src05_dump.sql
-
環境変数の設定
- 「.env.example」ファイルをコピーし、「.env」ファイルを作成する
- 環境変数を設定する。設定内容は PRJ メンバーより共有を受けてください
-
VSCode の設定
- 「.vscode/recommended_settings.json」ファイルをコピーし、「settings.json」ファイルを作成する
- 「python.defaultInterpreterPath」を、Python の構築手順で作成した仮想環境のパスに変更する
実行
- VSCode 上で「F5」キーを押下すると、バッチ処理が起動する。
- 「entrypoint.py」が、バッチ処理のエントリーポイント。
- 実際の処理は、「src/jobctrl_daily.py」で行っている。
フォルダ構成
.
├── Pipfile -- Pythonモジュールの依存関係を管理するファイル
├── Dockerfile -- Dockerイメージを作成するためのファイル
├── Pipfile -- Pythonモジュールの依存関係を管理するファイル
├── Pipfile.lock -- Pythonモジュールの依存関係バージョン固定用ファイル
├── README.md -- 当ファイル
├── entrypoint.py -- バッチ処理のエントリーポイントになるpythonファイル
└── src -- ソースコードの保管場所
├── aws -- AWS関連処理
│ └── s3.py -- S3クライアントとバケット処理
├── batch -- バッチ処理関連ソース置き場
│ ├── archive_jsk_data.py -- 実消化過去データアーカイブ処理
│ └── jskult_archive_manager.py -- アーカイブ管理テーブル操作処理
├── db
│ └── database.py -- データベース操作共通処理
├── error
│ └── exceptions.py -- カスタム例外
├── logging
│ └── get_logger.py -- ログ出力の共通処理
└── system_var
├── constants.py -- 定数
└── environment.py -- 環境変数