a47ebaa9df
## 概要 [Task3821: [4回目実行][フルデータ]develop環境での移行実施後の修正作業](https://paruru.nds-tyo.co.jp:8443/tfs/ReciproCollection/fa4924a4-d079-4fab-9fb5-a9a11eb205f0/_workitems/edit/3821) - 元PBI or タスクへのリンク（内容・目的などはそちらにあるはず） - 移行ツールに対して以下の修正を実施しました。 - アカウントとユーザ間でAuthorIDが重複する際、通番を付与して重複を避けるようにしました - AADB2Cのエラー発生時、リトライ処理を行うように対応しました ## レビューポイント - 特にありません ## UIの変更 - 無し ## 動作確認状況 - ローカルで確認 ## 補足 - 相談、参考資料などがあれば
226 lines
7.9 KiB
TypeScript
226 lines
7.9 KiB
TypeScript
import {
|
||
Body,
|
||
Controller,
|
||
HttpStatus,
|
||
Post,
|
||
Req,
|
||
HttpException,
|
||
Logger,
|
||
} from "@nestjs/common";
|
||
import fs from "fs";
|
||
import { ApiOperation, ApiResponse, ApiTags } from "@nestjs/swagger";
|
||
import { Request } from "express";
|
||
import { transferRequest, transferResponse } from "./types/types";
|
||
import { TransferService } from "./transfer.service";
|
||
import { makeContext } from "../../common/log";
|
||
import { csvInputFile, AccountsMappingFile } from "../../common/types/types";
|
||
import { makeErrorResponse } from "src/common/errors/makeErrorResponse";
|
||
import { AUTO_INCREMENT_START } from "../../constants";
|
||
@ApiTags("transfer")
|
||
@Controller("transfer")
|
||
export class TransferController {
|
||
private readonly logger = new Logger(TransferController.name);
|
||
constructor(private readonly transferService: TransferService) {}
|
||
|
||
@Post()
|
||
@ApiResponse({
|
||
status: HttpStatus.OK,
|
||
type: transferResponse,
|
||
description: "成功時のレスポンス",
|
||
})
|
||
@ApiResponse({
|
||
status: HttpStatus.INTERNAL_SERVER_ERROR,
|
||
description: "想定外のサーバーエラー",
|
||
})
|
||
@ApiOperation({ operationId: "dataRegist" })
|
||
async dataRegist(
|
||
@Body() body: transferRequest,
|
||
@Req() req: Request
|
||
): Promise<transferResponse> {
|
||
const context = makeContext("iko", "transfer");
|
||
|
||
const inputFilePath = body.inputFilePath;
|
||
|
||
this.logger.log(
|
||
`[IN] [${context.getTrackingId()}] ${
|
||
this.dataRegist.name
|
||
} | params: { inputFilePath: ${inputFilePath}};`
|
||
);
|
||
try {
|
||
// 読み込みファイルのフルパス
|
||
const accouncsFileFullPath = inputFilePath + "Account_transition.csv";
|
||
|
||
// ファイル存在チェックと読み込み
|
||
if (!fs.existsSync(accouncsFileFullPath)) {
|
||
this.logger.error(`file not exists from ${inputFilePath}`);
|
||
throw new Error(`file not exists from ${inputFilePath}`);
|
||
}
|
||
|
||
// CSVファイルを全行読み込む
|
||
const inputFile = fs.readFileSync(accouncsFileFullPath, "utf-8");
|
||
|
||
// レコードごとに分割
|
||
const csvInputFileLines = inputFile.split("\n");
|
||
|
||
// ヘッダー行を削除
|
||
csvInputFileLines.shift();
|
||
|
||
// 項目ごとに切り分ける
|
||
let csvInputFile: csvInputFile[] = [];
|
||
csvInputFileLines.forEach((line) => {
|
||
// 項目にカンマが入っている場合を考慮して、ダブルクォーテーションで囲まれた部分を一つの項目として扱う
|
||
const regExp = /"[^"]*"/g;
|
||
const matchList = line.match(regExp);
|
||
if (matchList) {
|
||
matchList.forEach((match) => {
|
||
// カンマを\に変換
|
||
const replaced = match.replace(/,/g, "\\");
|
||
line = line.replace(match, replaced);
|
||
});
|
||
}
|
||
const data = line.split(",");
|
||
// ダブルクォーテーションを削除
|
||
data.forEach((value, index) => {
|
||
data[index] = value.replace(/"/g, "");
|
||
});
|
||
// "\r"を削除
|
||
data[data.length - 1] = data[data.length - 1].replace(/\r/g, "");
|
||
// dataの要素数が34(csvInputFileの要素数)より多い場合、フォーマット不一致エラー(移行元はworktypeの数が20より多く設定できるので理論上は存在する)
|
||
// worktypeの数の確認を促すエラーを出す
|
||
if (data.length > 34) {
|
||
this.logger.error(
|
||
`[${context.getTrackingId()}] format error.please check the number of elements in worktype. data=${data}`
|
||
);
|
||
throw new HttpException(
|
||
makeErrorResponse("E009999"),
|
||
HttpStatus.BAD_REQUEST
|
||
);
|
||
}
|
||
// data[1]がundefinedの場合、配列には格納しない
|
||
if (data[1] !== undefined) {
|
||
// バックスラッシュをカンマに戻す
|
||
data.forEach((value, index) => {
|
||
data[index] = value.replace(/\\/g, ",");
|
||
});
|
||
csvInputFile.push({
|
||
type: data[0],
|
||
account_id: data[1],
|
||
parent_id: data[2],
|
||
email: data[3],
|
||
company_name: data[4],
|
||
first_name: data[5],
|
||
last_name: data[6],
|
||
country: data[7],
|
||
state: data[8],
|
||
start_date: data[9],
|
||
expired_date: data[10],
|
||
user_email: data[11],
|
||
author_id: data[12],
|
||
recording_mode: data[13],
|
||
wt1: data[14],
|
||
wt2: data[15],
|
||
wt3: data[16],
|
||
wt4: data[17],
|
||
wt5: data[18],
|
||
wt6: data[19],
|
||
wt7: data[20],
|
||
wt8: data[21],
|
||
wt9: data[22],
|
||
wt10: data[23],
|
||
wt11: data[24],
|
||
wt12: data[25],
|
||
wt13: data[26],
|
||
wt14: data[27],
|
||
wt15: data[28],
|
||
wt16: data[29],
|
||
wt17: data[30],
|
||
wt18: data[31],
|
||
wt19: data[32],
|
||
wt20: data[33],
|
||
});
|
||
}
|
||
});
|
||
// 各データのバリデーションチェック
|
||
await this.transferService.validateInputData(context, csvInputFile);
|
||
|
||
// account_idを通番に変換し、変換前account_id: 変換後accountId配列を作成する。
|
||
const accountIdList = csvInputFile.map((line) => line.account_id);
|
||
const accountIdListSet = new Set(accountIdList);
|
||
const accountIdListArray = Array.from(accountIdListSet);
|
||
const accountIdMap = new Map<string, number>();
|
||
accountIdListArray.forEach((accountId, index) => {
|
||
accountIdMap.set(accountId, index + AUTO_INCREMENT_START);
|
||
});
|
||
|
||
// アカウントID numberとstring対応表の出力
|
||
const accountsMappingFiles: AccountsMappingFile[] = [];
|
||
accountIdMap.forEach((value, key) => {
|
||
const accountsMappingFile = new AccountsMappingFile();
|
||
accountsMappingFile.accountIdNumber = value;
|
||
accountsMappingFile.accountIdText = key;
|
||
accountsMappingFiles.push(accountsMappingFile);
|
||
});
|
||
|
||
fs.writeFileSync(
|
||
`${inputFilePath}account_map.json`,
|
||
JSON.stringify(accountsMappingFiles)
|
||
);
|
||
|
||
// CSVファイルの変換
|
||
const transferResponseCsv = await this.transferService.transferInputData(
|
||
context,
|
||
csvInputFile,
|
||
accountIdMap
|
||
);
|
||
|
||
// countryを除いた階層の再配置
|
||
const AccountsFileTypeLines = transferResponseCsv.accountsFileTypeLines;
|
||
const AccountsFile = await this.transferService.relocateHierarchy(
|
||
context,
|
||
AccountsFileTypeLines
|
||
);
|
||
const UsersFile = transferResponseCsv.usersFileLines;
|
||
const LicensesFile = transferResponseCsv.licensesFileLines;
|
||
// メールアドレスの重複を削除
|
||
const resultDuplicateEmail =
|
||
await this.transferService.removeDuplicateEmail(
|
||
context,
|
||
AccountsFile,
|
||
UsersFile,
|
||
LicensesFile
|
||
);
|
||
|
||
// AuthorIDが重複している場合通番を付与する
|
||
const transferDuplicateAuthorResultUsers =
|
||
await this.transferService.transferDuplicateAuthor(
|
||
context,
|
||
resultDuplicateEmail.accountsFileLines,
|
||
resultDuplicateEmail.usersFileLines
|
||
);
|
||
|
||
// transferResponseCsvを４つのJSONファイルの出力する(出力先はinputと同じにする)
|
||
const outputFilePath = body.inputFilePath;
|
||
const WorktypesFile = transferResponseCsv.worktypesFileLines;
|
||
this.transferService.outputJsonFile(
|
||
context,
|
||
outputFilePath,
|
||
resultDuplicateEmail.accountsFileLines,
|
||
transferDuplicateAuthorResultUsers,
|
||
resultDuplicateEmail.licensesFileLines,
|
||
WorktypesFile
|
||
);
|
||
return {};
|
||
} catch (e) {
|
||
this.logger.error(`[${context.getTrackingId()}] error=${e}`);
|
||
throw new HttpException(
|
||
makeErrorResponse("E009999"),
|
||
HttpStatus.INTERNAL_SERVER_ERROR
|
||
);
|
||
} finally {
|
||
this.logger.log(
|
||
`[OUT] [${context.getTrackingId()}] ${this.dataRegist.name}`
|
||
);
|
||
}
|
||
}
|
||
}
|