feat : 장애 대응 및 재처리 로직을 적용한 고가용성 알림 시스템 구축 (#195)

* fix : mysql 드라이버 불러오지 못하는 문제 해결

- `runtimeOnly` 사용 시 실행할 때에만 classpath에 올라가므로, IDE/빌드 환경에 따라 드라이버를 찾지 못하는 경우가 발생함

* feat : MongoDB 트랜잭션 도입 및 적용 테스트

- mongo db에 트랜잭션을 도입하기 위해서 replica set 설정을 수행하고, 실제로 적용되었는지 확인하기 위해 테스트 수행
- 정상적으로 동작하는 것 확인
- 실제 배포 환경에 있는 mongo db 백업 후 replica set 적용해야 함

* refactor : 트랜잭션 관련 코드 개선

- 기존 코드에서는 @transactional 메서드 안에서 DB 저장과 알림 발송이 순차적으로 일어난다.
  - 알림이 발송된 직후, 커밋 단계에서 데이터베이스 문제 등 예측하지 못한 이유로 트랜잭션이 롤백된다면?
  - 사용자는 알림을 받았지만, 정작 DB에는 해당 알림 데이터가 존재하지 않는 유령 데이터가 발생한다.
- 스프링에서 제공하는 @TransactionalEventListener를 사용하여 트랜잭션 성공 이후 알림이 발송되는 것을 보장하고, 코드의 관심사를 분리했다.

* feat : 알림 데이터 저장 시 DB 장애 시를 대비하여 서킷 브레이커 패턴 적용

- 메시지를 처리하는 과정에서 DB에 장애가 발생했을 시, 처리되지 않은 메시지가 누적되어 시스템이 과부하되는 것을 방지하기 위해 서킷 브레이커 패턴을 적용했다.
- Resilience4j 라이브러리 사용
- 테스트 코드를 통해 실제로 서킷 브레이커가 동작하는지 확인함

* feat : 서킷 브레이커 정상적으로 동작하도록 수정

- 서킷 브레이커에 대해 잘못 이해하고 있는 부분이 있어서 테스트 코드에 오류가 있었음
- 실제로 발생할만한 예외가 던져지도록 하고, 해당 예외가 fallback 메서드를 통해 NotificationException으로 던져지는 것을 확인하도록 함
- 새로 구현된 NotificationProcessLog document에 데이터가 있으면 서킷 브레이커 테스트 중 에러가 발생함. 추후 이 점 유의해야 함

* feat : consumer에서 메시지 처리 중 에러가 발생했을 때를  대비해 상태 기반 재처리 로직 구현

- consumer에 메시지가 들어오면 로그를 db에 적재 (PENDING)
- 이후 메시지 처리 성공 여부에 따라 상태를 업데이트함 (SUCCESS, FAILD)
- 실패했던 메시지들은 별도의 스케쥴러에서 다시 재시도 처리함
  - 만약 특정 횟수의 시도 이후에도 실패한다면 PERMANENTLY_FAILED로 상태 변경
  - 해당 메시지들은 추후 개발자가 직접 처리할 수 있도록 함 (Grafana 등 연동)

* feat : 테스트 코드가 항상 성공하도록 수정

- AfterEach 추가해서 어떤 시점에 테스트를 실행해도 전부 통과할 수 있도록 함
- 그러나 DB를 매번 초기화하므로 개발, 배포 환경에 영향이 가지 않도록 disabled 해뒀음

* feat : 스크립트 shebang 추가

* feat : Mongo 트랜잭션 매니저 Bean 이름 충돌 문제 해결

- MongoDB 트랜잭션 매니저를 transactionManager라는 기본 이름으로 등록하면, JPA 등 다른 데이터소스용 기본 트랜잭션 매니저와 충돌하거나 덮어써서 애플리케이션 부팅 실패 혹은 잘못된 매니저 선택으로 이어질 수 있음

* feat : 커스텀 메시지 ID 누락 시 무한 재시도 위험 문제 해결

- null 예외 처리 추가해서 커스텀 message id 헤더가 존재하지 않는 메시지가 무한히 재시도 되는 상황을 방지함

* refact : 메시지 처리 메서드 호출 시 messageId에 해당하는 데이터가 없을 경우 로그 추가

- finishProcessing, finishProcessing 메서드의 findById()가 비어있다면 `ifPresent` 블록은 아무 일도 하지 않고 넘어감
- 개발자는 에러가 발생했다는 사실조차 모르고 넘어감 -> 조용한 실패(Silent Failure)
- finishProcessing에서 로그가 없다는 것은 비즈니스적인 문제(사용자 잘못 등)가 아니라, 시스템 내부의 심각한 상태 불일치를 의미
  - 따라서 NotificationException보다는 IllegalStateException이나 SystemException 같은 런타임 예외를 사용하는 것이 의미상 더 적합함

* refact : 더 이상 사용되지 않는 테스트 코드 disabled

Author: NCookies

.gitignore

@@ -43,6 +43,7 @@ src/main/resources/application.properties
 docker-compose.dev.yml
 /data/
 /db/
+/replicaset
 
 # 환경변수
 .env

build.gradle

@@ -55,7 +55,7 @@ dependencies {
 
     // DB
     runtimeOnly 'com.h2database:h2'
-    runtimeOnly 'com.mysql:mysql-connector-j'
+    implementation 'com.mysql:mysql-connector-j'
 
     annotationProcessor 'org.projectlombok:lombok'
 
@@ -120,6 +120,10 @@ dependencies {
 
     //AES 암호화
     implementation 'javax.xml.bind:jaxb-api:2.3.1'
+
+    // Circuit Breaker
+    implementation 'io.github.resilience4j:resilience4j-spring-boot3:2.2.0'
+    implementation 'io.github.resilience4j:resilience4j-circuitbreaker:2.2.0'
 }
 
 tasks.named('test') {

restart-mongodb-replica.sh

@@ -0,0 +1,55 @@
+#!/bin/bash
+
+DATA_FILE_PATH="./replicaset"
+DOCKER_FILE_PATH="./docker-compose.dev.yml"
+MONGO_PRIMARY_NAME="rs01p"
+REPLICA_INIT_FILE_PATH="./scripts/rs-init.sh"
+MONGO_CREATE_USER_FILE_PATH="./scripts/mongo-create-user.sh"
+
+UP_CONTAINER_DELAY=10
+REPLICA_CONFIG_DELAY=25
+
+echo "****************** Reset docker container Shell Script ******************"
+echo "Data File Path: ${DATA_FILE_PATH}"
+echo "Docker File Path: ${DOCKER_FILE_PATH}"
+echo "MongoDB Primary name: ${MONGO_PRIMARY_NAME}"
+echo "Replica set init Script File Path: ${REPLICA_INIT_FILE_PATH}"
+echo "Mongo create user file path: ${MONGO_CREATE_USER_FILE_PATH}"
+
+sleep 1;
+
+echo "****************** Stop docker container ******************"
+docker-compose -f ${DOCKER_FILE_PATH} stop
+echo "****************** Completed Stop docker container ******************"
+
+sleep 1;
+
+echo "****************** Down docker container ******************"
+docker-compose -f ${DOCKER_FILE_PATH} down
+echo "****************** Completed Down docker container ******************"
+
+sleep 1;
+
+echo "****************** Remove Data ******************"
+rm -rf ${DATA_FILE_PATH}
+echo "****************** Completed Remove Data ******************"
+
+sleep 1;
+
+echo "****************** Up docker container ******************"
+docker-compose -f ${DOCKER_FILE_PATH} up -d 
+echo "****************** Completed Up docker container ******************"
+
+echo "****** Waiting for ${UP_CONTAINER_DELAY} seconds ******"
+sleep $UP_CONTAINER_DELAY;
+
+echo "****************** Run Replica Set Shell Script ******************"
+docker exec -i ${MONGO_PRIMARY_NAME} bash < ${REPLICA_INIT_FILE_PATH}
+
+echo "****** Waiting for ${REPLICA_CONFIG_DELAY} seconds for replicaset configuration to be applied ******"
+sleep $REPLICA_CONFIG_DELAY
+
+echo "****************** Run Create DB User Shell Script ******************"
+docker exec -i ${MONGO_PRIMARY_NAME} bash < "${MONGO_CREATE_USER_FILE_PATH}"
+
+echo "****************** Completed Replica Shell Script ******************"

scripts/mongo-create-user.sh

@@ -0,0 +1,16 @@
+#!/bin/bash
+
+mongosh --port 10021 <<EOF
+use admin;
+db.createUser({
+    user: "mongo",
+    pwd: "mongo123",
+    roles: [
+      {
+        role: "dbOwner",
+        db: "ezcode",
+      },
+    ],
+});
+db.getUsers();
+EOF

scripts/rs-init.sh

@@ -0,0 +1,30 @@
+#!/bin/bash
+
+mongosh --port 10021 <<EOF
+use ezcode;
+var config = {
+    "_id": "rs01",
+    "version": 1,
+    "members": [
+        {
+            "_id": 1,
+            "host": "rs01p:10021",
+            "priority": 2
+        },
+        {
+            "_id": 2,
+            "host": "rs01s:10022",
+            "priority": 1
+        },
+        {
+            "_id": 3,
+            "host": "rs01a:10023",
+            "priority": 0
+        }
+    ]
+};
+rs.initiate(config);
+rs.status();
+db.setProfilingLevel(2);
+db.getProfilingStatus();
+EOF

src/main/java/org/ezcode/codetest/application/notification/exception/NotificationException.java

@@ -24,4 +24,13 @@ public NotificationException(ResponseCode responseCode, String message) {
 		this.httpStatus = responseCode.getStatus();
 		this.message = responseCode.getMessage() + " : " + message;
 	}
+
+	public NotificationException(ResponseCode responseCode, Throwable cause, String message) {
+		super();
+
+		this.responseCode = responseCode;
+		this.httpStatus = responseCode.getStatus();
+		super.initCause(cause);
+		this.message = message;
+	}
 }

src/main/java/org/ezcode/codetest/application/notification/exception/NotificationExceptionCode.java

@@ -12,7 +12,8 @@ public enum NotificationExceptionCode implements ResponseCode {
 
 	NOTIFICATION_CANNOT_FIND_EVENT_TYPE(false, HttpStatus.INTERNAL_SERVER_ERROR, "해당 이벤트 타입의 mapper를 찾을 수 없습니다."),
 	NOTIFICATION_CONVERT_MESSAGE_ERROR(false, HttpStatus.INTERNAL_SERVER_ERROR, "메시지 변환 과정에서 에러가 발생했습니다."),
-	NOTIFICATION_NOT_FOUND(false, HttpStatus.NOT_FOUND, "해당 ID의 notification 데이터를 찾지 못했습니다")
+	NOTIFICATION_NOT_FOUND(false, HttpStatus.NOT_FOUND, "해당 ID의 notification 데이터를 찾지 못했습니다"),
+	NOTIFICATION_DB_ERROR(false, HttpStatus.INTERNAL_SERVER_ERROR, "알림 데이터 저장 중 문제 발생. 서킷 브레이커가 열렸습니다.")
 	;
 
 	private final boolean success;

src/main/java/org/ezcode/codetest/infrastructure/mongo/config/MongoTransactionConfig.java

@@ -0,0 +1,15 @@
+package org.ezcode.codetest.infrastructure.mongo.config;
+
+import org.springframework.context.annotation.Bean;
+import org.springframework.context.annotation.Configuration;
+import org.springframework.data.mongodb.MongoDatabaseFactory;
+import org.springframework.data.mongodb.MongoTransactionManager;
+
+@Configuration
+public class MongoTransactionConfig {
+
+	@Bean(name = "mongoTransactionManager")
+	public MongoTransactionManager transactionManager(MongoDatabaseFactory mongoDatabaseFactory) {
+		return new MongoTransactionManager(mongoDatabaseFactory);
+	}
+}

src/main/java/org/ezcode/codetest/infrastructure/notification/event/NotificationSavedEvent.java

@@ -0,0 +1,12 @@
+package org.ezcode.codetest.infrastructure.notification.event;
+
+import org.ezcode.codetest.infrastructure.notification.dto.NotificationResponse;
+
+public record NotificationSavedEvent(
+
+	String principalName,
+
+	NotificationResponse response
+
+) {
+}

src/main/java/org/ezcode/codetest/infrastructure/notification/model/NotificationProcessLog.java

@@ -0,0 +1,72 @@
+package org.ezcode.codetest.infrastructure.notification.model;
+
+import java.time.LocalDateTime;
+
+import org.springframework.data.mongodb.core.mapping.Document;
+
+import org.springframework.data.annotation.Id;
+import lombok.AccessLevel;
+import lombok.AllArgsConstructor;
+import lombok.Getter;
+import lombok.NoArgsConstructor;
+
+@Document(collection = "notification_process_log")
+@Getter
+@NoArgsConstructor(access = AccessLevel.PROTECTED)
+@AllArgsConstructor
+public class NotificationProcessLog {
+
+	@Id
+	private String messageId;
+
+	private String payload;
+
+	private ProcessStatus status;
+
+	private int retryCount;
+
+	private String errorMessage;
+
+	private LocalDateTime lastAttemptAt;
+
+	private LocalDateTime createdAt;
+
+	public enum ProcessStatus {
+		PENDING, SUCCESS, FAILED, PERMANENTLY_FAILED
+	}
+
+	public static NotificationProcessLog of(String messageId, String payload) {
+
+		return new NotificationProcessLog(
+			messageId,
+			payload,
+			ProcessStatus.PENDING,
+			0,
+			null,
+			LocalDateTime.now(),
+			LocalDateTime.now()
+		);
+	}
+
+	public void markAsSuccess() {
+		this.status = ProcessStatus.SUCCESS;
+		this.lastAttemptAt = LocalDateTime.now();
+		this.errorMessage = null;
+	}
+
+	public void markAsFailed(String errorMessage, int maxRetries) {
+		this.retryCount++;
+		this.lastAttemptAt = LocalDateTime.now();
+		this.errorMessage = errorMessage;
+
+		if (this.retryCount >= maxRetries) {
+			this.status = ProcessStatus.PERMANENTLY_FAILED;
+		} else {
+			this.status = ProcessStatus.FAILED;
+		}
+	}
+
+	public void updateLastAttempt() {
+		this.lastAttemptAt = LocalDateTime.now();
+	}
+}