본문 바로가기

전체 글

 (23)
MySQL Multi Source Replication(MSR) 실습 MySQL Multi Source Replication(MSR) 실습 목표 - MySQL 8.0에서 기본적인 GTID 기반 Multi Source Replication을 구축한다. Multi Source Replication ?? 여러개의 Master DB를 1개의 Slave(Replica) 인스턴스에 연결하여 복제하는 구조로, 여러개의 Master DB의 내용을 하나의 Slave 에 모으는 기능 MSR 활용도 - 여러 서버에 존재하는 각기 다른 데이터를 하나의 MySQL 서버로 통합하는 용도( ex) EDW 등 데이터 분석 용도) - 여러 서버에 샤딩되어 있는 테이블 데이터를 하나의 데이터로 통합 (ex 기존 샤딩된 데이터베이스를 Merge할 때 사용 할 수 있음) - 여러 서버의 데이터를 모아 하나의..
MySQL GTID Replication 실습 MySQL GTID Replication 목표 - MySQL 8.0에서 기본적인 GTID Replication을 구축한다. - 서비스 연속성을 고려한 Topology 및 manual Failover를 수행한다. GTID ?? GTID란 Global Transaction Identifier의 약자로 UUID:transaction_id(순차번호) 로 구성되어 있다. 기존의 복제 구성시 binary log의 포지션을 찾고 구성을 했던 오퍼레이션을 단순화할 수 있으며, GTID를 통해 각 서버마다 고유한 트랜잭션을 관리 할 수 있다 GTID 설정을 위한 파라미터 No Options Variable Scope Dynamic Variable Comments 1 log-bin Global No binary-log 활..
AWS Data Pipeline??? 글을 작성하기 전에 DBA로 업무를 수행하면 데이터 엔지니어(DE), 데이터 사이언티스트등과 협업하는 일이 생길 수 있습니다. 협업 시 기본적인 용어를 모르고 있어 DB입장에서 ETL,CDC을 통해 수집되어 활용될 수 있는 데이터 파이프라인에 대해서 개인적으로 정리하는 포스팅입니다. 1. What Is Data Pipeline?? - 다양한 데이터 저장소에서 데이터를 수집하여 데이터 웨어하우스와 같은 데이터 저장소로 이전하는 과정(물이 공급 될 때 수도꼭지에서 나오기 까지 과정과 비슷) - 일반적으로 RDBMS에서 데이터 추출 시의 데이터를 그대로 사용할 수 없기 때문에 데이터를 적절하게 추출, 병합하는 과정들이 포함되어야 함 * 파이프 라인의 분류 : 배치용 파이프라인, 스트리밍 데이터 파이프라인 이 ..

티스토리툴바