From 277950ba8dc1d98dd21de989043c3631d117bbc8 Mon Sep 17 00:00:00 2001 From: "shimoda.m@nds-tyo.co.jp" Date: Wed, 11 Jun 2025 19:23:56 +0900 Subject: [PATCH] =?UTF-8?q?fix:=20=E5=87=A6=E7=90=86=E4=BB=B6=E6=95=B0?= =?UTF-8?q?=E3=81=A8=E6=AD=A3=E5=B8=B8=E7=B5=82=E4=BA=86=E4=BB=B6=E6=95=B0?= =?UTF-8?q?=E3=82=92=E5=80=8B=E5=88=A5=E3=81=A7=E5=8F=96=E5=BE=97=E3=80=82?= =?UTF-8?q?=E4=BB=B6=E6=95=B0=E3=81=AB=E5=B7=AE=E3=81=8C=E3=81=82=E3=82=8B?= =?UTF-8?q?=E5=A0=B4=E5=90=88=E3=81=AF=E9=87=8D=E8=A4=87=E3=83=AC=E3=82=B3?= =?UTF-8?q?=E3=83=BC=E3=83=89=E3=81=8C=E3=81=82=E3=82=8B=E5=8F=AF=E8=83=BD?= =?UTF-8?q?=E6=80=A7=E3=81=8C=E3=81=82=E3=82=8B=E3=81=A8=E3=83=AF=E3=83=BC?= =?UTF-8?q?=E3=83=8B=E3=83=B3=E3=82=B0=E3=82=92=E5=87=BA=E5=8A=9B=E3=80=82?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ecs/dataimport/dataimport/main.py | 25 ++++++++++++++++++------- 1 file changed, 18 insertions(+), 7 deletions(-) diff --git a/ecs/dataimport/dataimport/main.py b/ecs/dataimport/dataimport/main.py index 13cdbfa1..c6f456aa 100644 --- a/ecs/dataimport/dataimport/main.py +++ b/ecs/dataimport/dataimport/main.py @@ -430,6 +430,8 @@ def import_data_with_bulk( process_count = 0 # 処理件数カウンタ normal_count = 0 # 正常終了件数カウンタ + warning_count = 0 # ワーニング終了件数カウンター + warning_info = '' # ワーニング情報 load_schema_name = settings_list[SETTINGS_ITEM["loadSchemaName"]] has_header = settings_list[SETTINGS_ITEM["headerFlag"]] or int( @@ -448,7 +450,7 @@ def import_data_with_bulk( LOAD DATA LOCAL INFILE %s - REPLACE + IGNORE INTO TABLE {load_schema_name} CHARACTER SET {MYSQL_CHARSET_CODE[settings_list[SETTINGS_ITEM["charCode"]]]} @@ -482,24 +484,33 @@ def import_data_with_bulk( # ロードスキーマのトランザクション開始 with conn.cursor() as cur: cur.execute(sql, [LOCAL_TEMPORARY_FILE_PATH, target_file_name]) - # 一括登録モードの場合、LOAD文の成功行数を取得してprocess_countにする + # 処理件数と成功件数を取得する cur.execute("SELECT ROW_COUNT()") - process_count = cur.fetchone()[0] + normal_count = cur.fetchone()[0] + cur.execute("SELECT @file_row_cnt") + file_row_cnt = cur.fetchone()[0] + # ファイル行番号はヘッダがある時は-1して、データ行の行数と合わせる。 + process_count = file_row_cnt - 1 if has_header else file_row_cnt + conn.commit() except Exception as e: print( f'{datetime.now():%Y-%m-%d %H:%M:%S} {log_info} {ERROR} E-MAIN-02 - 一括登録モードのSQL実行に失敗しました。エラー内容： {e}') error(bucket_name, target_data_source, target_file_name, log_info) - # 一括登録の場合、クエリ実行に成功したら、処理件数と成功件数は同じにする - normal_count = process_count + # 処理件数 - 登録件数をワーニング件数とする + warning_count = process_count - normal_count + # ワーニングが1件でもある場合、一部登録ができていないため、ワーニング情報を登録する + if warning_count > 0: + warning_info = f'一部レコードの登録に失敗しています。行が重複している可能性があります。 投入データ件数：{process_count}, 正常終了件数：{normal_count}' + return { "counts": { "process": process_count, "normal": normal_count, - "warning": 0 # 一括登録時はワーニングにならずエラーになるため、必ず0件 + "warning": warning_count }, - "warning_info": '' # 一括登録時はワーニングにならずエラーになるため、空文字を返却 + "warning_info": warning_info }