묻고 답해요
150만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
순위 정보를
불러오고 있어요
-
미해결15일간의 빅데이터 파일럿 프로젝트
Hue 설치시 python27패키지를 찾을 수 없음
안녕하세요? 강의를 보면서 레포설정은 문제없이 된 것 같은 데 No package python27 available.라는 에러가 자꾸 뜨고 설치가 진행이 되지 않다보니 여기 발목이 잡힌 상태입니다. 아래에 스크린샷을 주가했습니다.이상한건 레포지토리 검색을 해 보면 scl관련 레포지토리는 안보이는데 이게 정상인지요?그럼 지도편달 부탁드립니다.감사합니다.
-
해결됨실습으로 배우는 선착순 이벤트 시스템
강사님 강의를 듣고 실제 프로젝트에서 이벤트 응모 시스템을 만들어 봤습니다.
안녕하세요 강사님!강사님의 동시성 이슈와 선착순 이벤트 시스템 강의를 듣고 실제 프로젝트에서 이벤트 응모 시스템을 만들어 봤습니다. 아래는 제가 해당 이벤트 응모 시스템을 만들면서 겪었던 이슈와 고민을 블로그 글로 적었습니다.우선 강사님 덕분에 프로젝트 잘 끝낼 수 있어서 감사했습니다.블로그 글을 쓰면서 든 생각은 여기서 더 개선 시킬점은 없을까? 좀 더 고민 해볼만한 부분은 없을까? 라는 생각이 들었습니다.개발에 정답은 없지만 그래도 좋은 방향은 있다고 생각해서 최근에 제가 쓴 글을 다시 보면서 어떤 부분을 고치면 좋을까 라는 생각을 하고 있습니다.혹시 강사님께서 제 글을 보시고 만약 면접관이시라면 어떤식으로 질문이 들어올 수 있을지 특히 꼬리 질문에 대해 얘기를 해주실 수 있을까요 해주신 내용을 바탕으로 깊게 고민을 해보고 면접 대비도 하고 싶습니다.
-
미해결Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)
Zipkin Dependencies 화면 안나옴...
문제Zipkin Dependencies 화면만 안나옴... (Chrome 에서만 안됨... Firefox 에서는 됨...) 1) 개발자도구 확인 - NetworkYou need to enable JavaScript to run this app 확인https://support.google.com/adsense/answer/12654?hl=en위 링크를 확인해서 크롬에서 JavaScript 가 활성화 되어있는지 확인→ 이미 되어있었음... 2) 개발자 도구 확인 - ConsoleError creating WebGL context. 확인chrome://flagsANGLE graphics backend 옵션 확인 > OpenGL 설정 → 그래도 안됨… 3) 마지막..chrome://settings시스템 탭 클릭"가능한 경우 그래픽 가속 사용" 설정 켜기... → 성공… 같은 문제가 발생하시는 분들에게 도움이 되면 좋겠습니다. 참고 사이트입니다.https://help.lucid.co/hc/ko/articles/17480912789908-문제-해결-WebGLhttps://support.google.com/chrome/thread/25018979/status-could-not-create-a-webgl-context?hl=en
-
미해결카프카 완벽 가이드 - 커넥트(Connect) 편
binlog와 offset 관련 추가 질문드립니다
안녕하세요~ 강의를 듣다가 binlog관련 궁금한 점이 생겨서 질문드립니다!해당 커넥트의 offset정보에 담긴 binlog파일이 만약 삭제됐다면 기동 중에 오류가 발생한다고 말씀을 주셨는데, 그럼 만약 binlog 파일이 커져서 다음 파일?로 넘어가서 새로운 binlog파일로 생성이 된다면 오류는 발생하지 않고 offset에는 다음 binlog파일로 기록이 되는 것일까요?
-
해결됨카프카 완벽 가이드 - 코어편
자문자답: kafka Error connecting to node utuntu-20.myguest.virtualbox.org:9092
안녕하세요. 여러분의 삽집을 줄이기 위해 정보 공유합니다.또한, 질문 게시판에 꽤 많은 같은 에러를 접하시는 분들이 계시는 것 같아, 공유합니다. 이미 선생님께서 해결 방안의 힌트를 남겨줘서 찾기 수월했습니다. 자세한 내용은 해당 링크(java.net.UnknownHostException)를 참고하세요.
-
미해결15일간의 빅데이터 파일럿 프로젝트
카프카 관련 문의
안녕하세요?다름아니라 지금 다시 처음부터 실습을 해 보는 중인데 계속해서 해결이 않되는 부분이 있습니다.카프카 부분인데요 분명히 토픽도 잘 생성된 것 같아서 메시지를 프로듀싱해보면 컨슈머에서 해당 메시지가 보이지 않아서 관련해서 트러블슈팅 팁을 문의드립니다. 관련 스크린샷은 아래에 첨부하였습니다.감사합니다. 감사합니다.
-
미해결[아파치 카프카 애플리케이션 프로그래밍] 개념부터 컨슈머, 프로듀서, 커넥트, 스트림즈까지!
파티션 개수와 컨슈머 개수의 처리량 관련 질문
이 수업 내용에서 하나의 토픽에 여러개의 파티션을 생성 할 수 있고 이 파티션은 하나의 리더 파티션에 다른 broker에 팔로워 파티션을 생성한다고 해주셨던걸로 기억합니다.또한, producer와 consumer와 소통하는건 리더 파티션만 가능하다고 했는에 위 그림에서는 팔로워 파티션도 컨슈머와 소통가능한 걸로 보여서 헷갈려서 질문드립니다. 또한, 리더 파티션만 컨슈머와 소통가능한데 어떻게 병렬 처리가 가능하고 파티션 개수가 늘리면 처리량이 증가하는건지 잘 이해가 가지 않아서요. 감사합니다.
-
미해결15일간의 빅데이터 파일럿 프로젝트
머하웃 추천 ml 실행 안됨
안녕하세요! 머하웃에서 실행하는 추천 잡이 실행이 안되어서 질문 남깁니다..! 제가 시도한 방법은 다음과 같습니다휴에서 보이는 잡들 모두 제거하고 실행클라우데라에서 클러스터1을 재시작하고 실행우지를 종료하고 실행이 방법들로는 해결되지 않았습니다.. 어찌해야 할 지 모르겠어 질문 남깁니다..!!
-
미해결15일간의 빅데이터 파일럿 프로젝트
Storm관련 NoClassDefFoundError문의
현재 실시간 데이터 수집부분에서 Storm Topology를 배포하는 단계에서 다음의 스크린샷과 같은 에러가 발생하였습니다. 참고로 저는 storm 버전 0.9.7을 설치하여 실습을 진행중이며 에러 관련 스크린샷은 아래와 같습니다.어떻게 해결하면 좋을지 문의드립니다. 제공하여주신 jar파일에 의존성을 추가해서 해당 의존성을 다운로드해야 할 지 아니면 스톰의 버전을 정확하게 맞추어야 할 지 고민이 되어서 문의드립니다. 감사합니다.
-
미해결카프카 완벽 가이드 - 코어편
sudo systemctl status sshd
안녕하세요. 강의를 보고 설치를 따라하는 중sudo apt-get install openssh-server가 실행이 아래처럼 되지않아서문의 드립니다.sudo apt-get update를 해봤는데라고 뜹니다.원래는 중간에 us 부분이 kr 이었는데 https://blog.naver.com/lewisel/221893514069해당 블로그를 보고 변경했습니다.(다른블로그의 %s/kr.archive.ubuntu.com/ftp.daumkakao.com로 변경하라는 글도 실행해보았습니다.)그래도 안되어서 찾아보니 dns정보를 입력하라는 글도 보아서 /etc/resolv.conf 에 nameserver 8.8.8.8도 추가해보았고, /etc/network/interfaces파일도 추가해서 dns-nameservers 8.8.8.8 도 추가해보았지만 그대로인 것 같습니다.현재 다른 설정은 아래와 같습니다.
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
메시지 이벤트 발행시 에러 발생 관련 질문이 있습니다.
이번에 면접을 보면서 확실하게 대답을 못해서 고민 끝에 선생님에게 질문 드립니다. 우선 시나리오 말씀드리자면 client 가 해당 게시글에 "좋아요" 등록을 하게 된다면 좋아요 등록 관련 DB 테이블에 insert 동시에 outbox 테이블에도 insert 하도록 설계 되어 있습니다. commit 이 정상적으로 발생되면 kafka 서버에게 이벤트 메시지를 발행 하게 되는데요. 만약 갑자기 이벤트 발행시 kafka 서버가 죽었다고 하면 복구 될때 까지 기다리다가 retry 통해 아직 메시지 발행 하지 못한 메시지 outbox 테이블에 조회해서 메시지 발행 하면 문제가 없을 것 같은데요. 하지만 다시 처음부터 설명하면 client 가 좋아요 등록 후 DB 서버가 죽어서 "좋아요" 관련 테이블 및 "outbox" 테이블에 insert 를 못했다고 가정 했을때 어떻게 대처 해야 하는지 역으로 질문 받았습니다. 일단 DB 서버가 죽었으면 빠르게 고객에게 에러 메시지를 전달과 동시에 담당 개발자에게 빠르게 전달 할 수 있도록 전달 해야 한다고 했습니다. (회사에서 slack 메신저 사용하면 메신저 통해 알림) 혹시 이것보다 더 좋은 방법이 있을까요? 재대로 대답하지 못해 찜찜해서 이렇게 선생님에게 질문 드리네요.
-
미해결카프카 완벽 가이드 - ksqlDB
시스템 타임존과 카프카 Stream 타임존이 불일치합니다.
카프카 타임존은 다음과 같이 9시간 전인 시간인 데이터가 들어오고있습니다. 시스템 타임존은 다음과 같습니다. 동기화 방법을 좀 찾아봤는데 안되서 질문드립니다.kafka/config/server.propertieslog.message.timestamp.type=CreateTimeKAFKA_JVM_PERFORMANCE_OPTS="-Duser.timezone=Asia/Seoul"
-
미해결카프카 완벽 가이드 - ksqlDB
ksql DB 서버를 올릴떄 아래와 같이 에러 발생
기동 로그======[2025-01-18 01:45:25,945] ERROR Could not submit metrics to Confluent: version-check.confluent.io: Name or service not known (io.confluent.support.metrics.utils.WebClient:112)[2025-01-18 01:45:25,945] ERROR Failed to submit metrics via secure endpoint, falling back to insecure endpoint (io.confluent.support.metrics.submitters.ConfluentSubmitter:135)[2025-01-18 01:45:25,947] ERROR Could not submit metrics to Confluent: version-check.confluent.io (io.confluent.support.metrics.utils.WebClient:112)[2025-01-18 01:45:25,947] ERROR Failed to submit metrics to Confluent via insecure endpoint=http://version-check.confluent.io/ksql/anon -- giving up (io.confluent.support.metrics.submitters.ConfluentSubmitter:165)======= 문제 해결 방법ksql_start.sh 스크립트 변경KSQL_OPTS="-Dconfluent.support.metrics.enable=false" $CONFLUENT_HOME/bin/ksql-server-start $CONFLUENT_HOME/etc/ksqldb/ksql-server.properties 참고 자료 : https://github.com/Cyb3rWard0g/HELK/issues/377
-
미해결카프카 완벽 가이드 - 코어편
빌드 시간 수십초 걸림
실습단계 : 섹션2-Java 기반에서 Producer 구현하기 - 01실습 환경 : Windows 11 Ent x64 한글, 16GB, SSD문제 : Gradle 빌드나, 프로젝트 빌드하면 시간이 수십초(40여초) 걸립니다. 오후 5:51:51: 실행 중 'build'...로그 출력된 후, 아래 나머지 로그는 마지막에 순식간에 표시됩니다. > Task :producers:compileJava> Task :producers:processResources NO-SOURCE> Task :producers:classes> Task :producers:jar> Task :producers:assemble> Task :producers:compileTestJava NO-SOURCE> Task :producers:processTestResources NO-SOURCE> Task :producers:testClasses UP-TO-DATE> Task :producers:test NO-SOURCE> Task :producers:check UP-TO-DATE> Task :producers:buildBUILD SUCCESSFUL in 42s2 actionable tasks: 2 executed오후 5:52:34: 실행이 완료되었습니다 'build'. 왜그럴까요?
-
미해결Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)
단일 데이터베이스 연결
강의 내용에 따르면 order-service1, order-service2 두 개의 인스턴스가 kafka-connect를 사용하기 위해 mariadb에 직접 연결을 맺는것으로 이해했습니다. 제가 궁금한 것은 단일 DB를 사용하는 경우에 kafka를 쓰는 이유입니다.현 강의와 같이 단일 DB를 사용하는 경우라면 kafka를 사용하지 않고, RestTemplate이나 FeignClient와 같은 라이브러리를 사용해서 catalog-service와 통신하고, jpa를 통해 직접 DB에 데이터를 직접 삽입할 수 있을텐데 이 경우 트랜잭션을 잘 처리해준다면 데이터도 동기화 할 수 있다고 생각합니다.다만, 여러 진입점 관리, 트랜잭션 처리 등 따로 처리해야할 부분이 많고 요청이 증가할 수록 kafka의 성능이 우수하기 때문에 kafka를 쓰는 것으로 이해했습니다. 제 생각에 틀린 부분이 있다면 말씀해주시면 감사하겠습니다!
-
미해결Spring Cloud로 개발하는 마이크로서비스 애플리케이션(MSA)
Could not find or load main class org.apache.kafka.connect.cli.ConnectDistributed 에러 해결
confluent-6.1.0\bin\windows\kafka-run-class.bat 파일 안에 rem Classpath addition for release으로 검색하셔서 밑에 코드를 넣으시면 됩니다. rem Classpath addition for LSB style path if exist %BASE_DIR%\share\java\kafka\* ( call :concat %BASE_DIR%\share\java\kafka\* )
-
미해결15일간의 빅데이터 파일럿 프로젝트
5. 빅데이터 클러스터 구성2- CM 소프트웨어 설치 오류
안녕하세요, 선생님. Cloudera Manager 소프트웨어 설치 중 오류가 해결되지 않네요. 도움 부탁드려요! 오류 내용입니다.
-
해결됨스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
실무에서의 락
안녕하세요. 현재 좋아요 부분에서 락에 관련해서 강의를 듣고 있습니다. 궁금한 점은 실무에서는 어떻게 사용을 하시는지 궁금합니다.왜냐하면 대부분 실무에서는 테이블 자체를 논리적 외래키로 전부 가져가는 경우를 많이 봤었습니다.외주를 부탁한 외부 업체 또한 낙관적 락을 사용하는 케이스를 봤구요. 강사님께서 일하시는 곳에서는 락의 3가지 케이스를 다양하게 필요에 맞게 사용하는 건가요?!
-
미해결스프링부트로 직접 만들면서 배우는 대규모 시스템 설계 - 게시판
안녕하세요! 테스트 질문입니다
강의에서는 인기글을 테스트할때 DataInitializer클래스에서 아래와 같은 코드를 사용했습니다. void createComment(Long articleId, long commentCount) { while(commentCount-- > 0) { commentServiceClient.post() .uri("/v1/comments") .body(new CommentRequest.Create(articleId, "content",null, 1L)) .retrieve(); } }이렇게 사용해봤더니 카프카에 전달이 되지 않더라구요 void createComment(Long articleId, long commentCount) { while (commentCount-- > 0) { CommentRequest.Create request = new CommentRequest.Create(articleId, "content", null, 1L); try { // 요청 로깅 추가 ObjectMapper objectMapper = new ObjectMapper(); System.out.println("Request body: " + objectMapper.writeValueAsString(request)); commentServiceClient.post() .uri("/v1/comments") .body(request) .retrieve() .toBodilessEntity(); // 응답 처리 추가 } catch (Exception e) { System.out.println("Error: " + e.getMessage()); } } }이렇게 사용해야 인기글 서비스에서 아래처럼 로그가 찍히는걸 확인했습니다. 어디를 확인해야할까요 .. 몇시간째 해결을 못해서 질문드려요!![HotArticleEventConsumer.listen] received message = {"eventId":136009554918850560,"type":"COMMENT_CREATED"
-
미해결15일간의 빅데이터 파일럿 프로젝트
리듀스가 네트워크를 타고 들어오는 경우
안녕하세요. 열강해주셨던 강의 들으며 공부하다 질문이 있어 글 남깁니다. 스파크에 대한 설명에서 '그리고 이 리듀스가 네트워크를 타고 들어온 로컬에 떨어진 앞에 리듀스의 결과를 다시 또 로컬로 떨어뜨린다'는 설명이 있었는데, 이 설명이 어떤 경우가 있는지 감이 잘 안와서 질문드립니다. 리듀스가 네트워크를 타고 들어온다는 것이 어떤 상황을 말하는건가요..? 감사합니다.
주간 인기글
순위 정보를
불러오고 있어요