묻고 답해요
140만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
미해결
Hadoop HA Datanode java.net.UnknownHostException
Hadoop Namenode HA 구성을 했습니다.core-site.xml에 fs.defaultFS를 hdfs://hadoop-ha로 설정했습니다. <property> <name>fs.defaultFS</name> <value>hdfs://hadoop-ha</value> </property> WebHDFS REST API 중 파일 생성하는 API를 Active 상태의 Namenode 주소로 호출했는데,{ "RemoteException": { "exception": "IllegalArgumentException", "javaClassName": "java.lang.IllegalArgumentException", "message": "java.net.UnknownHostException: hadoop-ha" } }위와 같은 에러가 발생합니다.⬇ 호출한 API[ PUT ] http://{server_ip}:{active_namenode_port}/webhdfs/v1/testB?op=CREATE 마찬가지로 datanode의 내부 쉘에서 hdfs dfs -ls /와 같은 명령어를 입력하면,2024-08-05 06:08:49,260 WARN fs.FileSystem: Failed to initialize filesystem hdfs://hadoop-cluster: java.lang.IllegalArgumentException: java.net.UnknownHostException: hadoop-ha-ls: java.net.UnknownHostException: hadoop-ha에러가 발생합니다. Hadoop HA 구성은 본 서버에 namenode1, namenode2, datanode1, datanode2, datanode3을docker compose로 같은 네트워크 내에서 동작하도록 5개 컨테이너를 생성하여 실행하였습니다. 각 컨테이너의 /etc/hosts에 active 상태의 namenode 주소를active_namenode_container_ip hadoop-ha이렇게 하나씩 명시하면 API 호출도 잘 되고 명령어 실행도 잘 되지만,active namenode가 죽고 standby namenode가 active 상태가 되면 동일한 에러가 발생합니다. hadoop-ha를 active 상태의 namenode ip와 자동으로 연결되도록 하는 방법은 없나요? 🥲🥲 ha 설정은 namenode가 죽었을 때 정상적으로 돌아가게 하기 위한 구성인데,/etc/hosts를 수동으로 명시하는 방법은 맞지 않은 거 같아서 질문 남깁니다..( ᐪ ᐪ )
-
미해결데브옵스(DevOps)를 위한 쿠버네티스 마스터
k8s HA 구성중 kubeadm init 실패 증상 - serviceaccount 부분부터 실패
k8s HA 구성을 하고 있는데요. kubeadm init 실패를 하고 있는 상황이고 해결방법을 찾지 못하고 있습니다. - 문제가 발생하고 있는 서버에서 kubeadm init를 실행하면 아래 로그와 같이 serviceaccount 부분에서 500 에러가 발생합니다. - 동일한 작업을 local에서 하면 문제가 없는데요 - 둘다 hyper-v에서 우분투 서버를 생성하고 작업했고, 작업 내용을 동일합니다. - serviceaccount 부분에서 500 에러가 발생하기 이전까지는 201 응답을 받고 정상 작업을 진행했는데 원인과 해결방법을 찾을 수 있을까요? 1. kubeadm init 실패 로그 ------------- 1224 request.go:1073] Request Body: {"kind":"ServiceAccount","apiVersion":"v1","metadata":{"name":"coredns","namespace":"kube-system","creationTimestamp":null}} 1224 round_trippers.go:466] curl -v -XPOST -H "Accept: application/json, */*" -H "Content-Type: application/json" -H "User-Agent: kubeadm/v1.24.1 (linux/amd64) kubernetes/3ddd0f4" 'https://10.1.10.101:6443/api/v1/namespaces/kube-system/serviceaccounts?timeout=10s' 1224 round_trippers.go:553] POST https://10.1.10.101:6443/api/v1/namespaces/kube-system/serviceaccounts?timeout=10s 500 Internal Server Error in 138 milliseconds 1224 round_trippers.go:570] HTTP Statistics: GetConnection 0 ms ServerProcessing 137 ms Duration 138 ms 1224 round_trippers.go:577] Response Headers: 1224 round_trippers.go:580] Date: Wed, 15 Jun 2022 15:49:22 GMT 1224 round_trippers.go:580] Audit-Id: 58b00d5f-5f4f-4ab2-bbb3-c3479189f4bc 1224 round_trippers.go:580] Cache-Control: no-cache, private 1224 round_trippers.go:580] Content-Type: application/json 1224 round_trippers.go:580] X-Kubernetes-Pf-Flowschema-Uid: 4383fc49-8e46-40c9-8a5e-7031390e956f 1224 round_trippers.go:580] X-Kubernetes-Pf-Prioritylevel-Uid: 5e6fba37-152d-4f54-bbf7-e6829d7f15b1 1224 round_trippers.go:580] Content-Length: 169 1224 request.go:1073] Response Body: {"kind":"Status","apiVersion":"v1","metadata":{},"status":"Failure","message":"rpc error: code = Unknown desc = malformed header: missing HTTP content-type","code":500} rpc error: code = Unknown desc = malformed header: missing HTTP content-type unable to create serviceaccount