본문 바로가기

cloud

 (1)
AWS Data Pipeline??? 글을 작성하기 전에 DBA로 업무를 수행하면 데이터 엔지니어(DE), 데이터 사이언티스트등과 협업하는 일이 생길 수 있습니다. 협업 시 기본적인 용어를 모르고 있어 DB입장에서 ETL,CDC을 통해 수집되어 활용될 수 있는 데이터 파이프라인에 대해서 개인적으로 정리하는 포스팅입니다. 1. What Is Data Pipeline?? - 다양한 데이터 저장소에서 데이터를 수집하여 데이터 웨어하우스와 같은 데이터 저장소로 이전하는 과정(물이 공급 될 때 수도꼭지에서 나오기 까지 과정과 비슷) - 일반적으로 RDBMS에서 데이터 추출 시의 데이터를 그대로 사용할 수 없기 때문에 데이터를 적절하게 추출, 병합하는 과정들이 포함되어야 함 * 파이프 라인의 분류 : 배치용 파이프라인, 스트리밍 데이터 파이프라인 이 ..

티스토리툴바