nik/newdwh2021
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Merge pull request #370 master into develop

Browse Source
This commit is contained in:
下田雅人 2024-04-01 15:00:14 +09:00
commit 9ac9dd8376
3 changed files with 10 additions and 5 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

5
lambda/encise-data-unreceive-check/encise-data-unreceive-check.py
View File

@ -223,8 +223,9 @@ def encise_data_unreceive_check(records: list, execute_month: str) -> tuple[list
is_file_not_exists = False is_file_not_exists = False
# 存在したファイルの年月部分を抜き出し、チェック対象年月（処理稼働月-1)である場合 # 存在したファイルの年月部分を抜き出し、チェック対象年月（処理稼働月-1)である場合
match_group_yyyymm = match_result.group(1) match_group_yyyymm = match_result.group(1)
check_target_yyyymm = (datetime.datetime.now( today = datetime.datetime.now(ZoneInfo(TZ))
ZoneInfo(TZ)) - relativedelta(month=1)).strftime('%Y%m') minus_1_month = today + relativedelta(months=-1)
check_target_yyyymm = minus_1_month.strftime('%Y%m')
if match_group_yyyymm == check_target_yyyymm: if match_group_yyyymm == check_target_yyyymm:
logger.info( logger.info(
f'I-04-04 I/Fファイルの受領を確認しました　ファイル名：{file_name}') f'I-04-04 I/Fファイルの受領を確認しました　ファイル名：{file_name}')

8
lambda/transfer-encise-data/transfer-encise-data.py
View File

@ -75,7 +75,9 @@ def lambda_handler(event, context):
s3_client.copy_object( s3_client.copy_object(
Bucket=ENCISE_BACKUP_BUCKET, Bucket=ENCISE_BACKUP_BUCKET,
Key=f'{event_folder_name}/{execute_date_yyyymm}/{event_file_name}', Key=f'{event_folder_name}/{execute_date_yyyymm}/{event_file_name}',
CopySource=copy_source CopySource=copy_source,
ContentType='text/csv', # ファイルのタイプを指定する必要があるため、ContentTypeを指定する。
MetadataDirective='REPLACE' # ファイルのメタデータを置き換える必要があるため、MetadataDirectiveを指定する。
) )
logger.info(f'I-04-01 Encise受信データのバックアップ完了：{ENCISE_BACKUP_BUCKET}/{event_folder_name}/{execute_date_yyyymm}/{event_file_name}') logger.info(f'I-04-01 Encise受信データのバックアップ完了：{ENCISE_BACKUP_BUCKET}/{event_folder_name}/{execute_date_yyyymm}/{event_file_name}')
@ -83,7 +85,9 @@ def lambda_handler(event, context):
s3_client.copy_object( s3_client.copy_object(
Bucket=DATA_IMPORT_BUCKET, Bucket=DATA_IMPORT_BUCKET,
Key=f'{ENCISE_TARGET_FOLDER}/{event_file_name}', Key=f'{ENCISE_TARGET_FOLDER}/{event_file_name}',
CopySource=copy_source CopySource=copy_source,
ContentType='text/csv', # ファイルのタイプを指定する必要があるため、ContentTypeを指定する。
MetadataDirective='REPLACE' # ファイルのメタデータを置き換える必要があるため、MetadataDirectiveを指定する。
) )
# コピー後、元のバケットからは削除する # コピー後、元のバケットからは削除する
s3_client.delete_object(Bucket=event_bucket_name, Key=event_object_key) s3_client.delete_object(Bucket=event_bucket_name, Key=event_object_key)

2
stepfunctions/TOOLS/convert_config.yaml
View File

@ -45,7 +45,7 @@ resource:
# セキュリティグループ(ecs-jskult-batch-laundering) # セキュリティグループ(ecs-jskult-batch-laundering)
- &PRD_SG_JSKULT_BATCH_LAUNDERING "sg-0d2bc30c1a2939c32" - &PRD_SG_JSKULT_BATCH_LAUNDERING "sg-0d2bc30c1a2939c32"
# セキュリティグループ(ecs-export-dbdump) # セキュリティグループ(ecs-export-dbdump)
- &PRD_SG_EXPORT_DBDUMP "sg-xxxxxxxxxxxxxxxx" - &PRD_SG_EXPORT_DBDUMP "sg-07ce73feffb53fadc"
config: config:
# CRMデータ取得 # CRMデータ取得
r-crm-datafetch-state: r-crm-datafetch-state: