데이터 엔지니어1 [Apache] Hadoop (2) - 하둡 에코시스템 (Hadoop-Ecosystem) Hadoop Eco-System (하둡 에코시스템) 하둡의 코어 프로젝트는 HDFS와 MapReduce지만 그 외에도 다양한 서브 프로젝트들이 많습니다. 하둡 에코시스템은 프레임워크를 이루고 있는 다양한 서브 프로젝트들의 모임이라고 볼 수 있습니다. 아래 그림들은 하둡 에코시스템을 나타낸 것 입니다. 하둡의 코어 프로젝트 : HDFS(분산 데이터 저장), MapReduce(분산 처리) 하둡의 서브 프로젝트 : 워크플로우 관리, 데이터 마이닝, 분석, 수집, 직렬화 등 구성 요소 (하둡의 서브 프로젝트) 1. 분산 코디네이터 Zookeeper 분산 환경에서 서버들간에 상호 조정이 필요한 다양한 서비스를 제공하는 시스템입니다. 하나의 서버에만 서비스가 집중되지 않도록 서비스를 알맞게 분산하여 동시에 처리하게.. 2021. 9. 13. 이전 1 다음
