nik/newdwh2021
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

レビュー指摘反映(受領ファイル解凍とバックアップ退避もれ)

Browse Source
This commit is contained in:
x.azuma.m@nds-tyo.co.jp 2023-05-12 12:27:29 +09:00
parent 285c725d5b
commit 5a32b27e26
2 changed files with 36 additions and 15 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

21
ecs/jskult-batch-daily/src/batch/vjsk/vjsk_importer.py
View File

@ -48,6 +48,17 @@ def exec():
logger.debug(f'データベース登録失敗 {e}')
raise e
# V実消化データ受領ファイルバックアップ退避
logger.debug('V実消化データ受領ファイルバックアップ退避：開始')
try:
# 取込が完了したS3バケットにある受領ファイルをバックアップ用S3バケットに移動する
_backup_received_files()
except BatchOperationException as e:
logger.debug('V実消化データ受領ファイルのバックアップ退避が失敗しました')
raise e
logger.debug('V実消化データ受領ファイルバックアップ退避：終了')
logger.debug('exec done')
@ -160,6 +171,8 @@ def _import_file_to_db():
local_file_path = vjsk_recv_bucket.download_data_file(file_name)
logger.debug(f"download s3 file done : {file_name}")
# TODO: 受領ファイルはtar.gzなので、ローカルストレージ上で解凍する
# データファイル名に該当する辞書アクセス用のキーを取得する
key = vjsk_mapper.get_condkey_by_s3_file_path(file_name)
@ -237,3 +250,11 @@ def _determine_today_is_stockslipdata_target():
raise e
logger.debug("_determine_today_is_stockslipdata_target done")
return ret
def _backup_received_files():
logger.debug("_backup_received_files start")
# TODO 受領バケットのファイル　→　バックアップバケット
logger.debug("_backup_received_files done")

30
ecs/jskult-batch-daily/src/batch/vjsk/vjsk_recv_file_mapper.py
View File

@ -29,7 +29,7 @@ class VjskReceiveFileMapper:
CONDKEY_SLIP_DATA: {
_KEY_DATA_NAME: "販売実績データ",
_KEY_FILE_PREFIX: "slip_data_",
_KEY_FILE_SUFFIX: ".tsv",
_KEY_FILE_SUFFIX: ".tar.gz",
_KEY_ORG_TABLE: "org05.sales",
_KEY_SRC_TABLE: "src05.sales",
_KEY_UPSERT_SQL: textwrap.dedent("""\
@ -298,7 +298,7 @@ class VjskReceiveFileMapper:
CONDKEY_HLD_MST: {
_KEY_DATA_NAME: "Ｖ卸ホールディングスマスタ",
_KEY_FILE_PREFIX: "hld_mst_",
_KEY_FILE_SUFFIX: ".tsv",
_KEY_FILE_SUFFIX: ".tar.gz",
_KEY_ORG_TABLE: "org05.hld_mst_v",
_KEY_SRC_TABLE: "src05.hld_mst_v",
_KEY_UPSERT_SQL: textwrap.dedent("""\
@ -351,7 +351,7 @@ class VjskReceiveFileMapper:
CONDKEY_WHS_MST: {
_KEY_DATA_NAME: "Ｖ卸マスタ",
_KEY_FILE_PREFIX: "whs_mst_",
_KEY_FILE_SUFFIX: ".tsv",
_KEY_FILE_SUFFIX: ".tar.gz",
_KEY_ORG_TABLE: "org05.whs_mst_v",
_KEY_SRC_TABLE: "src05.whs_mst_v",
_KEY_UPSERT_SQL: textwrap.dedent("""\
@ -419,7 +419,7 @@ class VjskReceiveFileMapper:
CONDKEY_MKR_ORG_HORIZON: {
_KEY_DATA_NAME: "Ｖメーカー卸組織展開表",
_KEY_FILE_PREFIX: "mkr_org_horizon_",
_KEY_FILE_SUFFIX: ".tsv",
_KEY_FILE_SUFFIX: ".tar.gz",
_KEY_ORG_TABLE: "org05.mkr_org_horizon_v",
_KEY_SRC_TABLE: "src05.mkr_org_horizon_v",
_KEY_UPSERT_SQL: textwrap.dedent("""\
@ -577,7 +577,7 @@ class VjskReceiveFileMapper:
CONDKEY_ORG_CNV_MST: {
_KEY_DATA_NAME: "Ｖ卸組織変換マスタ",
_KEY_FILE_PREFIX: "org_cnv_mst_",
_KEY_FILE_SUFFIX: ".tsv",
_KEY_FILE_SUFFIX: ".tar.gz",
_KEY_ORG_TABLE: "org05.org_cnv_mst_v",
_KEY_SRC_TABLE: "src05.org_cnv_mst_v",
_KEY_UPSERT_SQL: textwrap.dedent("""\
@ -630,7 +630,7 @@ class VjskReceiveFileMapper:
CONDKEY_TRAN_KBN_MST: {
_KEY_DATA_NAME: "Ｖ取引区分マスタ",
_KEY_FILE_PREFIX: "tran_kbn_mst_",
_KEY_FILE_SUFFIX: ".tsv",
_KEY_FILE_SUFFIX: ".tar.gz",
_KEY_ORG_TABLE: "org05.tran_kbn_mst_v",
_KEY_SRC_TABLE: "src05.tran_kbn_mst_v",
_KEY_UPSERT_SQL: textwrap.dedent("""\
@ -677,7 +677,7 @@ class VjskReceiveFileMapper:
CONDKEY_FCL_MST: {
_KEY_DATA_NAME: "Ｖ施設マスタ",
_KEY_FILE_PREFIX: "fcl_mst_",
_KEY_FILE_SUFFIX: ".tsv",
_KEY_FILE_SUFFIX: ".tar.gz",
_KEY_ORG_TABLE: "org05.fcl_mst_v",
_KEY_SRC_TABLE: "src05.fcl_mst_v",
_KEY_UPSERT_SQL: textwrap.dedent("""\
@ -769,7 +769,7 @@ class VjskReceiveFileMapper:
CONDKEY_PHM_PRD_MST: {
_KEY_DATA_NAME: "Ｖ製品マスタ",
_KEY_FILE_PREFIX: "phm_prd_mst_",
_KEY_FILE_SUFFIX: ".tsv",
_KEY_FILE_SUFFIX: ".tar.gz",
_KEY_ORG_TABLE: "org05.phm_prd_mst_v",
_KEY_SRC_TABLE: "src05.phm_prd_mst_v",
_KEY_UPSERT_SQL: textwrap.dedent("""\
@ -873,7 +873,7 @@ class VjskReceiveFileMapper:
CONDKEY_PHM_PRICE_MST: {
_KEY_DATA_NAME: "Ｖ製品価格マスタ",
_KEY_FILE_PREFIX: "phm_price_mst_",
_KEY_FILE_SUFFIX: ".tsv",
_KEY_FILE_SUFFIX: ".tar.gz",
_KEY_ORG_TABLE: "org05.phm_price_mst_v",
_KEY_SRC_TABLE: "src05.phm_price_mst_v",
_KEY_UPSERT_SQL: textwrap.dedent("""\
@ -923,7 +923,7 @@ class VjskReceiveFileMapper:
CONDKEY_VOP_HCO_MERGE: {
_KEY_DATA_NAME: "Ｖ施設統合マスタ",
_KEY_FILE_PREFIX: "vop_hco_merge_",
_KEY_FILE_SUFFIX: ".tsv",
_KEY_FILE_SUFFIX: ".tar.gz",
_KEY_ORG_TABLE: "org05.vop_hco_merge_v",
_KEY_SRC_TABLE: "src05.vop_hco_merge_v",
_KEY_UPSERT_SQL: textwrap.dedent("""\
@ -955,7 +955,7 @@ class VjskReceiveFileMapper:
CONDKEY_WHS_CUSTOMER_MST: {
_KEY_DATA_NAME: "Ｖ卸得意先情報マスタ",
_KEY_FILE_PREFIX: "whs_customer_mst_",
_KEY_FILE_SUFFIX: ".tsv",
_KEY_FILE_SUFFIX: ".tar.gz",
_KEY_ORG_TABLE: "org05.whs_customer_mst_v",
_KEY_SRC_TABLE: "src05.whs_customer_mst_v",
_KEY_UPSERT_SQL: textwrap.dedent("""\
@ -1026,7 +1026,7 @@ class VjskReceiveFileMapper:
CONDKEY_MDB_CONV_MST: {
_KEY_DATA_NAME: "MDBコード変換表",
_KEY_FILE_PREFIX: "mdb_conv_mst_",
_KEY_FILE_SUFFIX: ".tsv",
_KEY_FILE_SUFFIX: ".tar.gz",
_KEY_ORG_TABLE: "org05.mdb_cnv_mst_v",
_KEY_SRC_TABLE: "src05.mdb_cnv_mst_v",
_KEY_UPSERT_SQL: textwrap.dedent("""\
@ -1070,7 +1070,7 @@ class VjskReceiveFileMapper:
CONDKEY_STOCK_SLIP_DATA: {
_KEY_DATA_NAME: "卸在庫データ",
_KEY_FILE_PREFIX: "stock_slip_data_",
_KEY_FILE_SUFFIX: ".tsv",
_KEY_FILE_SUFFIX: ".tar.gz",
_KEY_ORG_TABLE: "org05.whole_stock",
_KEY_SRC_TABLE: "src05.whole_stock",
_KEY_UPSERT_SQL: textwrap.dedent("""\
@ -1177,7 +1177,7 @@ class VjskReceiveFileMapper:
CONDKEY_BIO_SLIP_DATA: {
_KEY_DATA_NAME: "生物由来データ",
_KEY_FILE_PREFIX: "bio_slip_data_",
_KEY_FILE_SUFFIX: ".tsv",
_KEY_FILE_SUFFIX: ".tar.gz",
_KEY_ORG_TABLE: "org05.bio_sales",
_KEY_SRC_TABLE: "src05.bio_sales",
_KEY_UPSERT_SQL: textwrap.dedent("""\
@ -1431,7 +1431,7 @@ class VjskReceiveFileMapper:
CONDKEY_LOT_NUM_MST: {
_KEY_DATA_NAME: "ロットマスタデータ",
_KEY_FILE_PREFIX: "lot_num_mst_",
_KEY_FILE_SUFFIX: ".tsv",
_KEY_FILE_SUFFIX: ".tar.gz",
_KEY_ORG_TABLE: "org05.lot_num_mst",
_KEY_SRC_TABLE: "src05.lot_num_mst",
_KEY_UPSERT_SQL: textwrap.dedent("""\