웹 클릭스트림 데이터 처리 1)
뿡
- 네트워크 및 EC2 인프라 준비
- VPC/서브넷/보안 그룹 설계
- IAM 역할(Role) 생성 및 할당
- EC2 인스턴스 유형 선정 & 생성
- EC2-Hive/Hadoop (마스터 노드) 설정
- Java 설치
- Hadoop (버전 예: 3.3.1) 설치
- HDFS 설정
- YARN 설정
- MySQL 설치 및 Hive Metastore DB 준비
- Hive (버전 예: 3.1.2) 설치
- HDFS에 Hive Warehouse 디렉터리 생성
- HDFS DataNodes (워커 노드) 설정
- Java 설치 (마스터 노드와 동일 버전)
- Hadoop 설치 및 설정 복사
- DataNode와 NodeManager 시작
- Hive 테이블 준비 및 Spark ETL 스크립트 작성
- Hive 테이블(외부 테이블) 생성
이 기사는 저작권자의
CC BY 4.0
라이센스를 따릅니다.