Merge pull request #348 feature-NEWDWH2021-1441-db-export into develop

ecs/export-dbdump/.dockerignore

@@ -0,0 +1,12 @@
+tests/*
+.coverage
+.env
+.env.example
+.report/*
+.vscode/*
+.pytest_cache/*
+*/__pychache__/*
+Dockerfile
+pytest.ini
+README.md
+*.sql

ecs/export-dbdump/.env.example

@@ -0,0 +1,9 @@
+DB_HOST=************
+DB_PORT=3306
+DB_USERNAME=************
+DB_PASSWORD=************
+DB_SCHEMA=*****
+
+DUMP_BACKUP_BUCKET=************
+
+LOG_LEVEL=INFO

ecs/export-dbdump/.gitignore

@@ -0,0 +1,11 @@
+.vscode/settings.json
+.env
+my.cnf
+
+# python
+__pycache__
+
+# python test
+.pytest_cache
+.coverage
+.report/

ecs/export-dbdump/.vscode/launch.json

@@ -0,0 +1,16 @@
+{
+    // IntelliSense を使用して利用可能な属性を学べます。
+    // 既存の属性の説明をホバーして表示します。
+    // 詳細情報は次を確認してください: https://go.microsoft.com/fwlink/?linkid=830387
+    "version": "0.2.0",
+    "configurations": [
+        {
+            "name": "(DEBUG) export dbdump",
+            "type": "python",
+            "request": "launch",
+            "program": "entrypoint.py",
+            "console": "integratedTerminal",
+            "justMyCode": true
+        }
+    ]
+}

ecs/export-dbdump/.vscode/recommended_settings.json

@@ -0,0 +1,31 @@
+{
+  "[python]": {
+    "editor.defaultFormatter": null,
+    "editor.formatOnSave": true,
+    "editor.codeActionsOnSave": {
+      "source.organizeImports": true
+    }
+  },
+  // 自身の環境に合わせて変えてください
+  "python.defaultInterpreterPath": "<pythonインタプリターのパス>",
+  "python.linting.lintOnSave": true,
+  "python.linting.enabled": true,
+  "python.linting.pylintEnabled": false,
+  "python.linting.flake8Enabled": true,
+  "python.linting.flake8Args": [
+    "--max-line-length=200",
+    "--ignore=F541"
+  ],
+  "python.formatting.provider": "autopep8",
+  "python.formatting.autopep8Path": "autopep8",
+  "python.formatting.autopep8Args": [
+    "--max-line-length", "200",
+    "--ignore=F541"
+  ],
+  "python.testing.pytestArgs": [
+    "tests/batch/ultmarc"
+  ],
+
+  "python.testing.unittestEnabled": false,
+  "python.testing.pytestEnabled": true
+}

ecs/export-dbdump/Dockerfile

@@ -0,0 +1,40 @@
+FROM python:3.9-bullseye
+
+ENV TZ="Asia/Tokyo"
+
+WORKDIR /usr/src/app
+COPY Pipfile Pipfile.lock ./
+# mysql-apt-config をdpkgでインストールする際に標準出力に渡す文字列ファイルをコピー
+COPY mysql_dpkg_selection.txt ./
+# 必要なパッケージインストール
+RUN apt update && apt install -y less vim curl wget gzip unzip sudo lsb-release
+
+# mysqlをインストール
+RUN \
+    wget https://dev.mysql.com/get/mysql-apt-config_0.8.29-1_all.deb && \
+    dpkg -i mysql-apt-config_0.8.29-1_all.deb < mysql_dpkg_selection.txt && \
+    apt update && \
+    apt install -y mysql-client
+
+# aws cli v2 のインストール
+RUN \
+    curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip" && \
+    unzip awscliv2.zip && \
+    sudo ./aws/install
+
+# python関連のライブラリインストール
+RUN \
+    pip install --upgrade pip wheel setuptools && \
+    pip install pipenv --no-cache-dir && \
+    pipenv install --system --deploy && \
+    pip uninstall -y pipenv virtualenv-clone virtualenv
+
+# パッケージのセキュリティアップデートのみを適用するコマンドを実行
+RUN \
+    apt install -y unattended-upgrades && \
+    unattended-upgrades
+
+COPY src ./src
+COPY entrypoint.py entrypoint.py
+
+CMD ["python", "entrypoint.py"]

ecs/export-dbdump/Pipfile

@@ -0,0 +1,16 @@
+[[source]]
+url = "https://pypi.org/simple"
+verify_ssl = true
+name = "pypi"
+
+[packages]
+
+[dev-packages]
+autopep8 = "*"
+flake8 = "*"
+
+[requires]
+python_version = "3.9"
+
+[pipenv]
+allow_prereleases = true

ecs/export-dbdump/Pipfile.lock

@@ -0,0 +1,71 @@
+{
+    "_meta": {
+        "hash": {
+            "sha256": "cc5f54bfb2073051a26f113ceac64e12fdd0bf8faa36f1a42210cc9c921c134b"
+        },
+        "pipfile-spec": 6,
+        "requires": {
+            "python_version": "3.9"
+        },
+        "sources": [
+            {
+                "name": "pypi",
+                "url": "https://pypi.org/simple",
+                "verify_ssl": true
+            }
+        ]
+    },
+    "default": {},
+    "develop": {
+        "autopep8": {
+            "hashes": [
+                "sha256:067959ca4a07b24dbd5345efa8325f5f58da4298dab0dde0443d5ed765de80cb",
+                "sha256:2913064abd97b3419d1cc83ea71f042cb821f87e45b9c88cad5ad3c4ea87fe0c"
+            ],
+            "index": "pypi",
+            "markers": "python_version >= '3.6'",
+            "version": "==2.0.4"
+        },
+        "flake8": {
+            "hashes": [
+                "sha256:33f96621059e65eec474169085dc92bf26e7b2d47366b70be2f67ab80dc25132",
+                "sha256:a6dfbb75e03252917f2473ea9653f7cd799c3064e54d4c8140044c5c065f53c3"
+            ],
+            "index": "pypi",
+            "markers": "python_full_version >= '3.8.1'",
+            "version": "==7.0.0"
+        },
+        "mccabe": {
+            "hashes": [
+                "sha256:348e0240c33b60bbdf4e523192ef919f28cb2c3d7d5c7794f74009290f236325",
+                "sha256:6c2d30ab6be0e4a46919781807b4f0d834ebdd6c6e3dca0bda5a15f863427b6e"
+            ],
+            "markers": "python_version >= '3.6'",
+            "version": "==0.7.0"
+        },
+        "pycodestyle": {
+            "hashes": [
+                "sha256:41ba0e7afc9752dfb53ced5489e89f8186be00e599e712660695b7a75ff2663f",
+                "sha256:44fe31000b2d866f2e41841b18528a505fbd7fef9017b04eff4e2648a0fadc67"
+            ],
+            "markers": "python_version >= '3.8'",
+            "version": "==2.11.1"
+        },
+        "pyflakes": {
+            "hashes": [
+                "sha256:1c61603ff154621fb2a9172037d84dca3500def8c8b630657d1701f026f8af3f",
+                "sha256:84b5be138a2dfbb40689ca07e2152deb896a65c3a3e24c251c5c62489568074a"
+            ],
+            "markers": "python_version >= '3.8'",
+            "version": "==3.2.0"
+        },
+        "tomli": {
+            "hashes": [
+                "sha256:939de3e7a6161af0c887ef91b7d41a53e7c5a1ca976325f429cb46ea9bc30ecc",
+                "sha256:de526c12914f0c550d15924c62d72abc48d6fe7364aa87328337a31007fe8a4f"
+            ],
+            "markers": "python_version < '3.11'",
+            "version": "==2.0.1"
+        }
+    }
+}

ecs/export-dbdump/README.md

@@ -0,0 +1,48 @@
+# 【共通】DBダンプ取得　
+
+## 概要
+
+当処理は特定の機能で利用するものではなく、共通処理として要件に応じて実行することを想定している。
+
+## 環境情報
+
+- Python 3.9
+- MySQL 8.23
+- VSCode
+
+## 環境構築
+
+- Python の構築
+
+  - Merck_NewDWH 開発 2021 の Wiki、[Python 環境構築](https://nds-tyo.backlog.com/alias/wiki/1874930)を参照
+    - 「Pipenv の導入」までを行っておくこと
+  - 構築完了後、プロジェクト配下で以下のコマンドを実行し、Python の仮想環境を作成する
+    - `pipenv install --dev --python <pyenvでインストールしたpythonバージョン>`
+    - この手順で出力される仮想環境のパスは、後述する VSCode の設定手順で使用するため、控えておく
+
+- MySQL の環境構築
+  - Windows の場合、以下のリンクからダウンロードする
+    - <https://dev.mysql.com/downloads/installer/>
+  - Docker を利用する場合、「newsdwh-tools」リポジトリの MySQL 設定を使用すると便利
+    - 「crm-table-to-ddl」フォルダ内で以下のコマンドを実行すると
+      - `docker-compose up -d`
+      - Docker の構築手順は、[Docker のセットアップ手順](https://nds-tyo.backlog.com/alias/wiki/1754332)を参照のこと
+  - データを投入する
+    - 立ち上げたデータベースに「src05」スキーマを作成する
+    - [ローカル開発用データ](https://ndstokyo.sharepoint.com/:f:/r/sites/merck-new-dwh-team/Shared%20Documents/03.NewDWH%E6%A7%8B%E7%AF%89%E3%83%95%E3%82%A7%E3%83%BC%E3%82%BA3/02.%E9%96%8B%E7%99%BA/90.%E9%96%8B%E7%99%BA%E5%85%B1%E6%9C%89/%E3%83%AD%E3%83%BC%E3%82%AB%E3%83%AB%E9%96%8B%E7%99%BA%E7%94%A8%E3%83%87%E3%83%BC%E3%82%BF?csf=1&web=1&e=VVcRUs)をダウンロードし、mysql コマンドを使用して復元する
+      - `mysql -h <ホスト名> -P <ポート> -u <ユーザー名> -p src05 < src05_dump.sql`
+- 環境変数の設定
+  - 「.env.example」ファイルをコピーし、「.env」ファイルを作成する
+  - 環境変数を設定する。設定内容は PRJ メンバーより共有を受けてください
+- VSCode の設定
+  - 「.vscode/recommended_settings.json」ファイルをコピーし、「settings.json」ファイルを作成する
+  - 「python.defaultInterpreterPath」を、Python の構築手順で作成した仮想環境のパスに変更する
+
+## 実行
+
+- VSCode 上で「F5」キーを押下すると、バッチ処理が起動する。
+- 「entrypoint.py」が、バッチ処理のエントリーポイント。
+- 実際の処理は、「src/jobctrl_dbdump.py」で行っている。
+
+
+## フォルダ構成（工事中）

ecs/export-dbdump/entrypoint.py

@@ -0,0 +1,10 @@
+"""【共通】DBダンプ取得処理のエントリーポイント"""
+from src import jobctrl_dbdump
+
+if __name__ == '__main__':
+    try:
+        exit(jobctrl_dbdump.exec())
+    except Exception:
+        # エラーが起きても、正常系のコードで返す。
+        # エラーが起きた事実はbatch_process内でログを出す。
+        exit(0)

ecs/export-dbdump/mysql_dpkg_selection.txt

@@ -0,0 +1,3 @@
+1
+1
+4

ecs/export-dbdump/src/jobctrl_dbdump.py

@@ -0,0 +1,106 @@
+"""DBダンプ取得"""
+
+import datetime
+import os
+import subprocess
+import textwrap
+
+from src.logging.get_logger import get_logger
+from src.system_var import constants, environment
+
+logger = get_logger('DBダンプ取得')
+
+
+def exec():
+    try:
+        logger.info('DBダンプ取得：開始')
+
+        # 事前処理（共通処理としては空振りする）
+        _pre_exec()
+
+        # メイン処理
+        # MySQL接続情報を作成する
+        my_cnf_file_content = f"""
+        [client]
+        user={environment.DB_USERNAME}
+        password={environment.DB_PASSWORD}
+        host={environment.DB_HOST}
+        """
+        # my.cnfファイルのパス
+        my_cnf_path = os.path.join('my.cnf')
+
+        # my.cnfファイルを生成する
+        with open(my_cnf_path, 'w') as f:
+            f.write(textwrap.dedent(my_cnf_file_content)[1:-1])
+        
+        # ファイルのパーミッションが強いとmysqldumpコマンドが実行できないため
+        # my.cnfファイルのパーミッションをread-onlyに設定
+        os.chmod(my_cnf_path, 0o444)
+
+        dt_now = datetime.datetime.now()
+        converted_value = dt_now.strftime('%Y%m%d%H%M%S%f')
+        dump_file_name = f'backup_rds_{environment.DB_SCHEMA}_{converted_value}.gz'
+        s3_file_path = f's3://{environment.DUMP_BACKUP_BUCKET}/{constants.DUMP_BACKUP_FOLDER}/{dt_now.year}/{dt_now.strftime("%m")}/{dt_now.strftime("%d")}/{dump_file_name}'
+
+        # mysqldumpコマンドを実行し、dumpを取得する
+        command = [
+            'mysqldump',
+            f'--defaults-file={my_cnf_path}',
+            '-P',
+            f"{environment.DB_PORT}",
+            '--no-tablespaces',
+            '--skip-column-statistics',
+            '--single-transaction',
+            '--set-gtid-purged=OFF',
+            environment.DB_SCHEMA
+        ]
+
+        mysqldump_process = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
+        # gzipコマンドを実行してdump結果を圧縮する
+        gzip_process = subprocess.Popen(['gzip', '-c'], stdin=mysqldump_process.stdout, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
+        # aws s3 cpコマンドを実行してアップロードする
+        s3_cp_process = subprocess.Popen(['aws', 's3', 'cp', '-', s3_file_path], stdin=gzip_process.stdout, stderr=subprocess.PIPE)
+        # mysqldumpの標準出力をgzipに接続したため、標準出力をクローズする
+        mysqldump_process.stdout.close()
+        # gzipの標準出力をaws s3 cpに接続したため、標準出力をクローズする
+        gzip_process.stdout.close()
+
+        # パイプラインを実行し、エラーハンドリング
+        _, error = mysqldump_process.communicate()
+        if mysqldump_process.returncode != 0:
+            raise Exception(f'`mysqldump`実行時にエラーが発生しました。{"" if error is None else error.decode("utf-8")}')
+
+        _, error = gzip_process.communicate()
+        if gzip_process.returncode != 0:
+            raise Exception(f'`gzip`実行時にエラーが発生しました。{"" if error is None else error.decode("utf-8")}')
+
+        _, error = s3_cp_process.communicate()
+        if s3_cp_process.returncode != 0:
+            raise Exception(f'`aws s3 cp`実行時にエラーが発生しました。{"" if error is None else error.decode("utf-8")}')
+
+        # 事後処理（共通処理としては空振りする）
+        _post_exec()
+        
+        logger.info('DBダンプ取得：終了（正常終了）')
+        logger.info(f'出力ファイルパス: {s3_file_path}')
+        return constants.BATCH_EXIT_CODE_SUCCESS
+
+    except Exception as e:
+        logger.exception(f'DBダンプ取得中に想定外のエラーが発生しました :{e}')
+        return constants.BATCH_EXIT_CODE_SUCCESS
+
+def _pre_exec():
+    """
+    ダンプ復元 事前処理
+    共通機能としては事前処理を実装しない。  
+    事前処理が必要なダンプ復元処理を実装する場合、当ロジックをコピーする。
+    """
+    pass
+
+def _post_exec():
+    """
+    ダンプ復元 事後処理
+    共通機能としては事後処理を実装しない。  
+    事後処理が必要なダンプ復元処理を実装する場合、当ロジックをコピーする。
+    """
+    pass

ecs/export-dbdump/src/logging/get_logger.py

@@ -0,0 +1,37 @@
+import logging
+
+from src.system_var.environment import LOG_LEVEL
+
+# boto3関連モジュールのログレベルを事前に個別指定し、モジュール内のDEBUGログの表示を抑止する
+for name in ["boto3", "botocore", "s3transfer", "urllib3"]:
+    logging.getLogger(name).setLevel(logging.WARNING)
+
+
+def get_logger(log_name: str) -> logging.Logger:
+    """一意のログ出力モジュールを取得します。
+
+    Args:
+        log_name (str): ロガー名
+
+    Returns:
+        _type_: _description_
+    """
+    logger = logging.getLogger(log_name)
+    level = logging.getLevelName(LOG_LEVEL)
+    if not isinstance(level, int):
+        level = logging.INFO
+    logger.setLevel(level)
+
+    if not logger.hasHandlers():
+        handler = logging.StreamHandler()
+        logger.addHandler(handler)
+
+        formatter = logging.Formatter(
+            '%(name)s\t[%(levelname)s]\t%(asctime)s\t%(message)s',
+            '%Y-%m-%d %H:%M:%S'
+        )
+
+        for handler in logger.handlers:
+            handler.setFormatter(formatter)
+
+    return logger

ecs/export-dbdump/src/system_var/constants.py

@@ -0,0 +1,5 @@
+# バッチ正常終了コード
+BATCH_EXIT_CODE_SUCCESS = 0
+
+# ダンプバックアップフォルダー
+DUMP_BACKUP_FOLDER = 'dump'

ecs/export-dbdump/src/system_var/environment.py

@@ -0,0 +1,19 @@
+import os
+
+# Database
+DB_HOST = os.environ['DB_HOST']
+DB_PORT = int(os.environ['DB_PORT'])
+DB_USERNAME = os.environ['DB_USERNAME']
+DB_PASSWORD = os.environ['DB_PASSWORD']
+DB_SCHEMA = os.environ['DB_SCHEMA']
+
+# AWS
+DUMP_BACKUP_BUCKET = os.environ['DUMP_BACKUP_BUCKET']
+
+# 初期値がある環境変数
+LOG_LEVEL = os.environ.get('LOG_LEVEL', 'INFO')
+DB_CONNECTION_MAX_RETRY_ATTEMPT = int(os.environ.get('DB_CONNECTION_MAX_RETRY_ATTEMPT', 4))
+DB_CONNECTION_RETRY_INTERVAL_INIT = int(os.environ.get('DB_CONNECTION_RETRY_INTERVAL', 5))
+DB_CONNECTION_RETRY_INTERVAL_MIN_SECONDS = int(os.environ.get('DB_CONNECTION_RETRY_MIN_SECONDS', 5))
+DB_CONNECTION_RETRY_INTERVAL_MAX_SECONDS = int(os.environ.get('DB_CONNECTION_RETRY_MAX_SECONDS', 50))
+