웹프로그램 이야기

웹프로그램 이야기

  • 웹프로그램이야기 (99)
    • Spring Batch (16)
    • Spring Data (3)
      • MyBatis With JPA (2)
      • Redis With CrudRepository (1)
    • SpringBoot Kafka (5)
    • Spring Micro Services (25)
      • RestTemplate (2)
      • Service Discovery with Eure.. (2)
      • Zuul and Ribbon (1)
      • Netflix Hystrix (2)
      • RabbitMQ (7)
      • 통합로그 (3)
      • gRPC (4)
      • interfaces (1)
      • event driven architecture (2)
    • SpringBoot Monitoring (6)
      • SpringBoot Resilience4j (5)
    • Spring Security (12)
      • Spring Boot Jwt with JPA an.. (8)
      • Vue 3 Authentication with J.. (4)
    • SpringBoot Swagger (1)
    • Python (14)
      • Flask (12)
      • 데이터전처리 (2)
    • R (2)
      • R데이터분석기초 (2)
    • React (10)
      • React Hook (2)
      • React websocket with spring.. (4)
      • React Netflix Clone Project (2)
    • 오늘의점심 (1)
    • AI (1)
      • MCP (1)
    • 국내여행 (2)
      • 강원도 (2)
  • 홈
  • 태그
  • 미디어로그
  • 위치로그
  • 방명록
RSS 피드
로그인
로그아웃 글쓰기 관리

웹프로그램 이야기

컨텐츠 검색

태그

rabbitmq refreshtoken Spring Boot REACT jpa 스프링배치 grpc MSA Kafka RESTful API Python accesstoken Redis FLASK useState Resilience4j refresh token JWT SQLAlchemy kibana

최근글

댓글

공지사항

아카이브

tasklet(1)

  • TASKLET 예제

    TASKLET 구현 예제대용량의 데이터 처리시 Reader->Processor->Writer 구현 방법 보다는 쿼리에서 INSERT SELECT 쿼리로 구현하는게 더 효과 적인 경우가 있다. 예를 들어 몇천만건 억단위건 데이터 처리시에는 INSERT SELECT로 구현하는 편이 낫다. 이번 프로젝트 진행할때 최대 몇 십억 단위의 데이터를 INSERT SELECT 방식으로 집계 처리하는데에도 약 2~3시간이 걸렸었다. Reader->Processor->Writer의 경우 데이터를 조회 하여서 조회 결과를 객체로 변환하여서 만약 로직이 있다면 로직처리 후 저장의 단계를 거치면서 시간이 많이 걸리게 될 것이다. 천만건 이상의 데이터 처리시에는 INSERT SELECT 쿼리로 구현이 가능하다면 이 방법을 사용 ..

    2019.01.15
이전
1
다음
티스토리
© 2018 TISTORY. All rights reserved.

티스토리툴바