게시글
질문&답변
2022.01.21
body의 높이값
하다보면 모르는거나오면 지치고 짜증도 나는데 그러면서 곧장 질문 다는 저의모습을 반성해봅니다. 검색도 더 해보고 고민도 더 해보겠습니다. 그래도 그때마다 성심성의껏 달아주시는 선생님의 너그러운 배려에 오히려 죄송하다는 맘과 함께 다시한번 감사드립니다.
- 2
- 2
- 275
질문&답변
2021.09.02
블럭이 데이타노드를 가지고있다는게 무슨뜻일까요?
답변안주셔도 좋습니다. 계속 저희 부족한 이해력때문에 괴롭혀 드리고 싶지 않네요.. 다만...강사님의 답변으로 더 저 머리는 괴로울 뿐이고....그런마음에 글을쓰는거 뿐입니다. 진짜..여기저기 검색해서 이해를 했는데 그 이해내용을 토대로 위의 강사님의 답변을 보면 솔직히 도무지 매치가 안되고 이해가 안됩니다. 하나의 데이터 파일이 있다면 이건 데이터 블럭으로 쪼개지고 각각 쪼개진 데이터 블럭은 네임노드의 Rack Awareness를 통해서 여러 랙에 있는 데이터 노드에 해당 블럭들을 분산 저장하는 구조라 파악이 됩니다. 랙을 여러번 여쭤봤음에도 꼬집어서 설명을 안주셨는데...랙은 데이터노드라고 하는 여러대의 물리적 서버들을 일정갯수만큼 품고있는 어떤 프레임(?) 같은거란 생각이 들고 각 랙들은 스위치라는걸 통해서 연결되어 있다고 알게되었습니다. 그리고 랙마다 여러대의 서버(데이터노드)들을 가지고 있는데 ...이 데이터노드들 각각에는 블럭사이즈에 따라서 여러 데이터 블럭들이 들어가 있거나...하나의 데이터블럭만 존재하거나 할수있겠죠. 데이터파일이 A,B,C 세개의 데이터 블록으로 쪼개진다고 가정할때 A데이터 블럭은 #1 랙안에 있는 데이터노드 1, 2 에 중복저장되고 다른 #2랙안의 데이터노드안에 마지막 중복저장되어 총 replica 3개념으로 데이터 블록 A가 분산저장될것이라 생각합니다. 그런데 강사님은 위에서 설명하신거 보면 특히 올려주신 2번째그림과 함께 설명을 보면 위에 이해한 저희 개념을 너무 헷갈리게 만듭니다. 보라색은 랙이고 그안에 바로 블럭이 존재 하는게 아니라 노란색인 데이터노드가 존재하고 그 안에 데이터블럭(파란색) 을 그려놓으신건가요? 한 랙안에 여러개의 데이터 노드가 있고 그 데이터노드각각에 11의 블럭이 나뉘어져 있는게 왜 중복인지 도무지 이해가 안가네요...하나의 랙안에 각 데이터 노드의 분산저장되어야 하는건데...말입니다..그리고 1,2,3~11 이 숫자는 대체 왜 나왔고...대체 뭔가요...블럭이면 그림에서처럼 Block,1,2,3이라고 해놓고 B1,B2,B3 이게 블럭이지 왜 1,2,3~11으로 순서대로 숫자를 써놓고 블럭이라 표현한것도 도무지 이해가 안가네요.하나의 파일이 block1, block2, block3으로 쪼개놓은거 아니세요? 그 앞에 1,2,3~11 이거는 순서 나열한 숫자일뿐이란 생각이 드는데...느닺없이 그림에 숫자를 앞에 써놓고 그걸 중복 블럭이라 표현하시니.... 도대체 왜 11이 중복저장인지...바로 위그림에는 하나의 랙안에 Block A가 각 데이터노드에 들어가 있고 즉, 하나의 랙안에 중복저장되어있는거 아닌가요???? 그림을 잘 그려놓고선 밑에 그림에는 하나의 렉안에 중복저장될수 없다고 하신부분...여기서 엄청 혼란을 줍니다. 렉에는 여러 다양한 데이터노드각 있고 각 데이터노드에 하나의 데이터블럭은 얼마든지 중복저장되는게 분산저장 개념아닌가요? 도무지...저희 이해를 흔드시네요 ㅠㅠ~~~아래 빨간표시부분 ...정말이지 이해안됩니다. 렉안에 데이타 노드들이 존재하고 하나의 렉안에 가령 데이타 노드가 3개라면 그중에 2개의 데이타 노드 각각에는 데이터블럭 A를 각각 중복저장할수있는 개념아닌가요? ㅡㅡ ================== 클러스트 내에 여러 개의 렉 서버들이 존재합니다 그 렉 서버들은 네임노드 한 대 이상과 데이터 노드들이 각각 들어 있죠. 다양한 데이터노드들에는 블럭A 뿐만 아니라 B C 이상의 데이터들이 존재합니다. 렉들은 데이터 노드들이 한 개 이상 중복이 안됩니다. 그럼 레프리카도 중복 처리 안되고요.. 저의 강의 의도를 이해하셨으면 합니다. 다시 말씀드리면Rack #1 (block 1, 2,3, 4)Rack #2 (block 5,6,7,8)Rack #3 (block 9, 10, 11, 11) --> x 한 렉 안에 같은 블럭 중복처리 불가입니다. Rack #3 (block 9, 10, 11, 12) ---> 0 정상입니다. ========
- 1
- 3
- 446
질문&답변
2021.07.28
hadoop 클러스터 메카니즘이 넘 헷갈립니다.
너무 성의껏 해주신 죄송할정도여서 수강생으로써 더 노력하고 공부해야하겠다는 다짐의 말이 작은 보답이된다면 보답드리고싶네요...감사합니다.
- 0
- 2
- 553