nik/newdwh2021
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

仕様に合わせた通知表示変更

Browse Source
This commit is contained in:
Nik Afiq 2024-07-19 14:59:19 +09:00
parent 610a0acdf1
commit 994c40ec55
1 changed files with 8 additions and 9 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

17
lambda/daily-data-unreceive-check/daily-data-unreceive-check.py
View File

@ -153,7 +153,7 @@ def daily_data_unreceive_check(records: list, execute_date: str) -> tuple[list[d
message_id = record["messageId"] message_id = record["messageId"]
# 2.DynamoDBテーブルからレコードを取得し、処理済みメッセージかどうかを判別する # 2.DynamoDBテーブルからレコードを取得し、処理済みメッセージかどうかを判別する
if is_duplicate_message(message_id): if is_duplicate_message(message_id):
logger.info(f'I-02-02 受信したメッセージは既に処理済みのため、処理をスキップします。メッセージID: {message_id}') logger.info(f'I-02-02 受信したメッセージは既に処理済みのため、処理をスキップします。メッセージID: {message_id} バケットディレクトリ: {event_parameter["check_folder_prefix"]}')# TODO ADD BUCKET DIRECTORY
continue continue
except Exception as e: except Exception as e:
logger.exception(f"E-02-01 メッセージ重複チェック処理に失敗しました　エラー内容：{e}") logger.exception(f"E-02-01 メッセージ重複チェック処理に失敗しました　エラー内容：{e}")
@ -162,22 +162,22 @@ def daily_data_unreceive_check(records: list, execute_date: str) -> tuple[list[d
# SQSパラメータをJSONシリアライズし、Pythonの辞書オブジェクト(イベントパラメータ)を取得する。 # SQSパラメータをJSONシリアライズし、Pythonの辞書オブジェクト(イベントパラメータ)を取得する。
event_parameter = json.loads(record['body']) event_parameter = json.loads(record['body'])
receive_date = execute_date.strftime('%Y/%m/%d')
# ③ 設定ファイル[受領チェック対象ファイルリスト]を読み込む # ③ 設定ファイル[受領チェック対象ファイルリスト]を読み込む
try: try:
logger.info('I-03-01 ' +'受領チェック対象ファイルリスト読込　読込元：' + f'{CONFIG_BUCKET_NAME}/{event_parameter["check_target_file_list"]}') logger.info('I-03-01 ' +'受領チェック対象ファイルリスト読込　読込元：' + f'{CONFIG_BUCKET_NAME}/{event_parameter["check_target_file_list"]}/{receive_date}/')
check_target_file_list_response = s3_client.get_object( check_target_file_list_response = s3_client.get_object(
Bucket=CONFIG_BUCKET_NAME, Bucket=CONFIG_BUCKET_NAME,
Key=f'{event_parameter["check_target_file_list"]}' Key=f'{event_parameter["check_target_file_list"]}'
) )
logger.info('I-03-02 受領チェック対象ファイルリストを読み込みました') logger.info('I-03-02 受領チェック対象ファイルリストを読み込みました')
except Exception as e: except Exception as e:
logger.exception(f"E-03-01 受領チェック対象ファイルリストの読み込みに失敗しました　エラー内容：{e}") logger.exception(f"E-03-01 受領チェック対象ファイルリストの読み込みに失敗しました　エラー内容：{e}　ファイル名：{event_parameter['check_target_file_list']}")
batch_failed_items.append(make_failure_item_on_error(message_id)) batch_failed_items.append(make_failure_item_on_error(message_id))
continue continue
# ④ 受領チェック処理を行う # ④ 受領チェック処理を行う
receive_date = execute_date.strftime('%Y/%m/%d')
logger.info(f'I-04-01 日次データ受領チェック ({event_parameter['data_source_name']}) 処理開始') logger.info(f'I-04-01 日次データ受領チェック ({event_parameter['data_source_name']}) 処理開始')
object_prefix = f'{event_parameter["check_folder_prefix"]}/{receive_date}/' object_prefix = f'{event_parameter["check_folder_prefix"]}/{receive_date}/'
@ -207,7 +207,7 @@ def daily_data_unreceive_check(records: list, execute_date: str) -> tuple[list[d
logger.info(f'I-04-04 I/Fファイルの受領を確認しました　ファイル名：{file_name}') logger.info(f'I-04-04 I/Fファイルの受領を確認しました　ファイル名：{file_name}')
match_count += 1 match_count += 1
if is_file_not_exists: if is_file_not_exists:
logger.info(f'I-04-06 月次I/Fファイルに不足があります　ファイル名：{tsv_row[INDEX_DATA_NAME]}') logger.info(f'I/Fファイルに不足があります　ファイル名：{tsv_row[INDEX_DATA_NAME]}')
mail_message += f'{MAIL_INDENT}{tsv_row[INDEX_DATA_NAME]}\n' mail_message += f'{MAIL_INDENT}{tsv_row[INDEX_DATA_NAME]}\n'
row_count += 1 row_count += 1
@ -225,8 +225,7 @@ def daily_data_unreceive_check(records: list, execute_date: str) -> tuple[list[d
continue continue
# 1.存在した場合 # 1.存在した場合
logger.info( logger.info(f'I-05-02 {execute_date} {event_parameter["data_source_name"]} データI/Fファイルに不足があるため、メール送信処理を開始します')
f'I-05-02 {execute_date} {event_parameter["data_source_name"]}データI/Fファイルに不足があるため、メール送信処理を開始します')
try: try:
logger.info('I-05-03 ' +f'通知メール（タイトル）テンプレートファイル読込　読込元：{CONFIG_BUCKET_NAME}/{event_parameter["notice_mail_title_template"]}') logger.info('I-05-03 ' +f'通知メール（タイトル）テンプレートファイル読込　読込元：{CONFIG_BUCKET_NAME}/{event_parameter["notice_mail_title_template"]}')
@ -240,7 +239,7 @@ def daily_data_unreceive_check(records: list, execute_date: str) -> tuple[list[d
logger.info('I-05-04 通知メール（タイトル）テンプレートファイルを読み込みました') logger.info('I-05-04 通知メール（タイトル）テンプレートファイルを読み込みました')
except Exception as e: except Exception as e:
logger.exception( logger.exception(
f'E-05-01 通知メール（タイトル）テンプレートファイルの読み込みに失敗しました　エラー内容：{e}') f'E-05-01 通知メール（タイトル）テンプレートファイルの読み込みに失敗しました　エラー内容：{e}　ファイル名：{event_parameter["notice_mail_title_template"]}')
batch_failed_items.append( batch_failed_items.append(
make_failure_item_on_error(message_id)) make_failure_item_on_error(message_id))
continue continue
@ -256,7 +255,7 @@ def daily_data_unreceive_check(records: list, execute_date: str) -> tuple[list[d
mail_body = substitute_mail_template(mail_body_template, mail_message) mail_body = substitute_mail_template(mail_body_template, mail_message)
logger.info('I-05-06 通知メール（本文）テンプレートファイルを読み込みました') logger.info('I-05-06 通知メール（本文）テンプレートファイルを読み込みました')
except Exception as e: except Exception as e:
logger.exception(f'E-05-02 通知メール（本文）テンプレートファイルの読み込みに失敗しました　エラー内容：{e}') logger.exception(f'E-05-02 通知メール（本文）テンプレートファイルの読み込みに失敗しました　エラー内容：{e}　ファイル名：{event_parameter["notice_mail_body_template"]}')
batch_failed_items.append(make_failure_item_on_error(message_id)) batch_failed_items.append(make_failure_item_on_error(message_id))
continue continue