대량 DB INSERT 최적화

📌 대량 DB INSERT 최적화

• CSV파일을 읽어 사용자 일괄 등록하는 기능 구현함.
• 성능/메모리 고려 필요  ➡ 영향주는 요소 알아보고 테스트해보기로 함!

---

📌 1. 대량 Insert 시 반드시 고려해야 하는 핵심 요소(메모리 + 성능 개요)

🔹 트랜잭션 크기(성능)
→ 너무 큰 트랜잭션 = DB 로그 폭증
→ 500~1000건마다 커밋 권장

 

🔹 네트워크/DB 부하(성능)
→ DB 성능 낮으면 배치 사이즈 더 줄이기

 

🔹 파일 파싱(메모리)
→ DTO → Entity 변환 과정에서 메모리 증가
→ 스트리밍 방식 활용

 

🔹 오류 처리 전략(트랜잭션 정책)
→ 실패 데이터만 재처리할지?
→ 전체 롤백인지?→ 요구사항 따라 처리 방식 달라짐

---

📌2. 메모리 이슈: CSV 파싱·저장 방식이 메모리에 미치는 영향

✅2-1. 파일 크기

• 작은 파일은 문제가 없지만, 수만 줄 CSV를 readAll()로 읽으면 메모리가 수백 MB 이상 증가
  
  

✅2-2. 인코딩 방식(EUC-KR 등)

• 멀티바이트 문자(EUC-KR, CP949) 변환 시 내부적으로 더 많은 버퍼 사용
  
  

✅ 2-3. 파싱/저장 방식

한 줄씩 읽을 때 → 메모리 즉시 해제 가능
List에 담아두면 → List 크기 × 문자열 길이 만큼 메모리 증가

예시(잘못된 방식):

List<String[]> allLines = new ArrayList<>();
while ((line = csvReader.readNext()) != null) {
    allLines.add(line);
}

 

➡ CSV 전체 메모리 로드 → 대량일 때 OutOfMemory 위험

---

📌 3. 성능 이슈: Insert 방식별 처리 속도 비교

✅3-1. 한 줄씩 Insert

✔ 메모리 거의 사용 안 함 (소비되고 곧바로 GC 대상이 됨. )
❌ DB 커넥션/트랜잭션/네트워크 비용 매번 발생 → 대량 데이터 시 매우 느림

🔹 적합한 경우:

• 사용자 검증·API 호출 등 “한 건 처리 로직”이 필요한 작업
• 데이터량 200건 이하
  
  

✅3-2. 배치(Batch) Insert

✔ 네트워크/트랜잭션 횟수 줄어서 성능 상승
❌ 배치 크기 너무 크면 메모리 증가

 

* 배치 크기 결정 기준

• 메모리 여유: 크면 배치 크기 ↑
• 네트워크·DB 성능: DB 부하가 크면 배치 크기 줄이기
• DB 제약: MySQL max_allowed_packet 등 확인 필요
• 추천 배치 크기: 500~1000건

🔹 적합한 경우:

• 단순 삽입 작업
• 대량 데이터(수천~수만 건)

---

📌 4. JDBC vs ORM 배치 전략 — 성능·메모리

 

✅4-1. JDBC 배치 Insert (권장)

• DB와 직접 연결해 SQL 실행하는 표준 API
• PreparedStatement + addBatch() + executeBatch()
• 가장 빠름
• 메모리 사용량 적음
• GC 영향 적음
  

String sql = "INSERT INTO USERS (name, email) VALUES (?, ?)";

try (PreparedStatement pstmt = conn.prepareStatement(sql)) {

    int batchCount = 0;

    while ((line = csv.readNext()) != null) {
        pstmt.setString(1, line[0]);
        pstmt.setString(2, line[1]);

        pstmt.addBatch();

        if (++batchCount % 1000 == 0) {
            pstmt.executeBatch();
            pstmt.clearBatch();

        }

    }

    pstmt.executeBatch();
    conn.commit();

}

---

✅4-2.  ORM(Hibernate) 배치 Insert

• 객체 <-> 테이블 자동 매핑
• Hibernate는 1차 캐시에 엔티티를 적재하므로 엔티티가 쌓일수록 메모리 증가
• batch_size 설정 + 주기적 flush() / clear() 필수
  

for (int i = 0; i < list.size(); i++) {
    session.save(list.get(i));
    
    if (i % 1000 == 0) {
        session.flush();
        session.clear();
    }
}

 

---

📌 5. CSV 처리 방식별메모리 소비 측정

✅5-1. 테스트 시나리오

1. 줄 단위 Insert
2. readAll() 전체 메모리 로딩
3. List 적재 후 Bulk Insert

 

✅ 5-2. 측정 방식

• 메모리 측정:
  JVM이 사용하는 메모리는 Runtime.getRuntime() API로 확인 가능
  사용량 = totalMemory() - freeMemory()
• 시간(성능) 측정:
  System.currentTimeMillis() 또는 Instant.now()를 사용해 처리 시작/종료 시점을 기록하고, 경과 시간을 계산

 

✅  5-3. 예시 코드 (메모리 + 처리 시간 동시 측정)

untime runtime = Runtime.getRuntime();
long memBefore, memAfter;
long timeBefore, timeAfter;

// 1. One-by-one Insert
memBefore = runtime.totalMemory() - runtime.freeMemory();
timeBefore = System.currentTimeMillis();

while ((line = csvReader.readNext()) != null) {
    insertUser(line); // 한 줄씩 DB Insert
}

timeAfter = System.currentTimeMillis();
memAfter = runtime.totalMemory() - runtime.freeMemory();
System.out.println("[Test 1] Memory: " + (memAfter - memBefore) + " bytes");
System.out.println("[Test 1] Time: " + (timeAfter - timeBefore) + " ms");

// 2. readAll() 전체 로딩
memBefore = runtime.totalMemory() - runtime.freeMemory();
timeBefore = System.currentTimeMillis();

List<String[]> allData = csvReader.readAll(); // 메모리 전체 적재

timeAfter = System.currentTimeMillis();
memAfter = runtime.totalMemory() - runtime.freeMemory();
System.out.println("[Test 2] Memory: " + (memAfter - memBefore) + " bytes");
System.out.println("[Test 2] Time: " + (timeAfter - timeBefore) + " ms");

// 3. Bulk Insert
memBefore = runtime.totalMemory() - runtime.freeMemory();
timeBefore = System.currentTimeMillis();

List<User> bulkList = convert(allData); 
insertBulk(bulkList); // 배치 Insert

timeAfter = System.currentTimeMillis();
memAfter = runtime.totalMemory() - runtime.freeMemory();
System.out.println("[Test 3] Memory: " + (memAfter - memBefore) + " bytes");
System.out.println("[Test 3] Time: " + (timeAfter - timeBefore) + " ms");

📖 테스트 예시 결과 (샘플)

테스트	메모리 사용량	처리 시간
One-by-one Insert	120,000 bytes	1,200 ms
Full File Read	4,520,000 bytes	50 ms
Bulk Insert	3,600,000 bytes	150 ms

 

⚠️ 측정 시 주의사항

• JVM GC가 실행되면 메모리 사용량이 0처럼 보일 수 있음
• 측정 전후 시점에 따라 값이 달라질 수 있음
• Eclipse/IntelliJ에서 힙 메모리 상태 보기 켜면 GUI로 확인 가능
  이클립스 세팅: Window → Preferences → General → Show heap status 체크 => eclipse 창 하단에 힙 메모리 상태가 설정된 것을 확인할 수 있다.

 

✅5-4. 결론

• 한 줄씩 Insert
• 파일 전체 메모리 로딩
• Bulk Insert (배치)

---

🚀6. 결론

• 소규모 데이터 → 한 줄씩 Insert 해도 성능·메모리 문제 없음
• 수천~수만 건 이상의 대용량 CSV → 반드시 배치 Insert
• 배치 크기는 DB 성능 + 네트워크 + JVM 메모리에 따라 조정 (일반적으로 500~1000건 단위)
• 모니터링 도구 활용해 최적값 찾기 → 트랜잭션·메모리 안정적으로 관리
• 트랜잭션 관리: 배치 실행마다 트랜잭션을 커밋.