인프런 커뮤니티 질문&답변

정민기님의 프로필 이미지
정민기

작성한 질문수

선형대수학개론

6.4 The Singular Value Decomposition

6.3강에서와의 연계 질문

해결된 질문

작성

·

323

0

감사합니다. 6.4강 까지 드디어 완강했습니다. 6.4강이 워낙 어려워 기존의 모든 앞 절 지식을 총동원해서 중간중간 끊으며 다시 돌아갔다왔다 했는데도 100% 이해되지는 않으므로 다시 봐야할 것 같습니다.

다름이 아니라, 6.3강에서 Constraint xTx =1 라는 조건이 주어졌을 때, 예제 1에서는 그 x가 바로 (1,0,0)과 같은 unit 벡터로 구해졌습니다. 그런데, 6.4강 3페이지에서 eigen value 360에 대한 eigen vector는 (1/3, 2/3, 2/3)으로서 unit vector 구하였습니다.

질문 1)

처음에 왜 6.3처럼 (1,0,0)이 바로 아닐까란 생각했는데, 6.3의 예제1의 A matrix는 그 자체가 대각행렬이고, 대각성분들이 이미 바로 eigen value여서, A = PDP-1 이라면 이미 A = PAP-1 이기때문에 구해진 (1,0,0) vector가 이미 eigen value 9에 대한 P에 들어있는 eigen vector이다. 이렇게 생각하면될까요?

질문2)

그런 면에서 6.3강의 6페이지 설명과 같이 xT A x= yT D y처럼 y가 (1,0,0) = e1일때 M값이 나왔지만 실질적으로 우리가 구하고자 하는 것은 M 조건으로 D에 대해 나온 y값이 아니라.. A에 대한 x기준 이므로 x =Py = p * e1으로 구한다고 하였습니다.

6.4의 3페이지 AT A에서 eigen value 360에 대한 eigen vector도 이와같은 맥락으로 해석하여 (1,0,0)=e1으로 나오면 안되고,  x =Py인 general solution이 나오는데그 중에 nomarlization된 (1/3,2/3,2/3)이어야 한다. 이렇게 이해하면 되겠습니까?

6.3강에서 당연히 바로 (1,0,0) 혹은 (0,0,1)이런 형태와 살짝 혼동되었는데, 6.3강 6페이지에서 y가 아니라 x에 대해 찾는 것이라는 것을 강조하신 부분이 떠올라 이런 적용이 맞나 해서 질문드립니다.

언제나 좋은 강의 감사합니다.

답변 7

1

정민기님의 프로필 이미지
정민기
질문자

상세한 답변 정말 감사합니다 명쾌히 해소 되었습니다.

부족한 부분 다시듣고 보충하겠습니다. 감사합니다

1

아이고 정말 죄송합니다. 제가 큰 착각을 했습니다.

말씀하신것처럼 symmetric matrix의 경우 xTAx에 cross product term이 안나온다라는건 아주 아주 잘못 된 말입니다.

quadratic form으로부터 symmetric matrix에 대해 설명하고 가르쳤는데, 제가 이상한 착각을 하였네요.

혼란스럽게 해드려서 죄송합니다.

어찌됐건 그것과 상관없이 matrix 모양으로부터 (혹은 cross product term의 유무로부터) eigenvector를 굳이 연관짓지 않으면 될 것 같습니다. 말씀하신것처럼  Ax = ƛx 에서 부터 eigenvector를 구하는데, 많은 예제를 통해 알수있듯이 A matrix의 모양으로부터 eigenvector를 단번에 알기란 어렵습니다.

다시 예전 질문을 확인해보자면,

Q.

==> 정확합니다. 즉 A가 꽉차있지 않고 단순한 대각행렬일 때만, (1,0,0) e형태가 나오는 걸로 알고 있어서 그거에 대한 재확인 이었습니다. 즉 결국 이것이 cross product form이 없는 형태이고, 꽉차있다면 cross product form이 있는 형태라서 그런 것 아닌지요? 

A.

어찌됐건 eigenvector의 모양을 대각행렬의 경우엔 (1,0,0) 꼴로 나온다라는 점을 생각해보면, cross product term이 있는 형태의 경우 그 꼴로 나올가능성이 적다라고 표현해볼수는 있을 것 같습니다.

하지만 cross product term들이 있다하여 eigenvector가 (1,0,0)꼴이 안나온다라는 장담은 없기에 위의 표현방식(가능성이 "적다"라는 표현)이 애매하다라고 생각할수 있습니다.

결국엔, 
matrix의 모양으로부터 eigenvector를 유추하기 어렵기때문에, xTAx의 cross product term유무와 eigenvector 형태를 연관짓지 않는것이 좋다라고 말할 수 있을 것 같습니다. (대각행렬은 워낙 특수하여 유추하기 쉽지만요.)

좋은 예제로는, [ 3 0 0;   0 1.5 -0.5;  0 -0.5 1.5] matrix의경우는 symmetric이고 diagonal matrix도 아니지만, 최대 eigenvalue는 3이고 그에 대응하는 eigenvector는 (1,0,0)입니다. 이처럼 diagonal matrix가 아니여도 최대 eigenvalue에 해당하는 eigenvector가 (1,0,0)이 나올수있습니다.

추가적으로 우리가 배운것과 연관을 시켜본다면,
matrix를 spectral decomposition 하였을때 나오는 orthogonal basis 들 (u1,...un)을 생각하였을때, xTAx의 cross product term이 있더라도 u1은 (1,0,0)이 나올수 있다라는 점을 생각하시면 좋을 것 같습니다.

* 2 by 2 matrix의 경우는 워낙 예외적인 matrix이니 논외로 하도록 하겠습니다.

감사합니다.

1

정민기님의 프로필 이미지
정민기
질문자

우선 바쁘신 와중에도 성의있는 답변 감사합니다 ^^

두번째 질문은 해결되었고,

첫질문에서 

" cross product term들이 있냐 없냐와 별게의 문제라는걸 아실 수 있을겁니다. 있어도 symmetric이면 cross product form은 xTAx에서 나오지 않을 겁니다.

어찌됐건 혼란을 좀 완화시키기 위해서는 diagonal matrix를 제외하고는 eigenvector의 형태와 matrix 형태를 굳이 연관짓지 않는게 좋을 것 같습니다."

말씀하신 내용 정확히 파악했습니다. 감사합니다. 다만, 6.2 예제 1의 두번째 매트릭스 [ 3 -2; -2 7]처럼 SYMMETRIC이라도  xTAx에서 cross product form존재하는 경우도 있지않나요? 일단 말씀하신대로 eigen vector와는 굳이 연결시키지 않고  최대, 최소가 A행렬에 대해 Ax = ƛx 인eigen value와 관련이있다고 진행하겠습니다.

0

하나씩 필요부분만 다시 써서 답변 드려보겠습니다. 잠결에 그냥 지나쳤으면 오해를 하고 사셨을 것 같습니다.

Q.

==> 정확합니다. 즉 A가 꽉차있지 않고 단순한 대각행렬일 때만, (1,0,0) e형태가 나오는 걸로 알고 있어서 그거에 대한 재확인 이었습니다. 즉 결국 이것이 cross product form이 없는 형태이고, 꽉차있다면 cross product form이 있는 형태라서 그런 것 아닌지요?

A.

이 부분은 잘못 생각하시는 것 같습니다. symmetric matrix이기때문에 말씀하신 cross product form들은 모두 삭제 되어 사라집니다. eigenvector와 xTAx는 따로 생각하는것이 좋을거라 생각합니다. cross product term들이 있냐 없냐와 별게의 문제라는걸 아실 수 있을겁니다. 있어도 symmetric이면 cross product form은 xTAx에서 나오지 않을 겁니다.

(윗 답변은 아주 잘못된 말입니다. 추가 답변 댓글을 다시 적었습니다.)

혼란을 좀 완화시키기 위해서는 diagonal matrix를 제외하고는 eigenvector의 형태와 matrix 형태를 굳이 연관짓지 않는게 좋을 것 같습니다.

Q.

==> 감사합니다. 제가 아마 직접 Characteristic equation을 풀어서 문제에서 eigen value들을 구하지 않고, 교재 적혀있는 것을 보고 D행렬들을 보거나 계산되있는 상태에서 보니 그런 것같습니다. 제 질문의 요지는 아마 6.2 에서 사용하는 (no cross product form) x= Py로 변형하였을 때 xTAx 최대, 최소 나오는 곳이 y=e1= (1,0,0)과 같은 경우로 판단하였고, 근데 6.3, 6.4 문제는 x에 대한 질문이므로 (y는 우리가 계산 편의상 구한 것이며, 이를 활용한 것이 6.3항 6페이지로 유도한 것이다 맞을까요?) x= Py =P e1 = P의 첫번째열로 나와진다 이렇게 해석하면 될까요?

A.

그렇습니다. 이 부분은 명확하게 잘 이해를 하셨습니다. 위에 나온 질문과 별도로 생각하시면 될 것 같습니다.
한가지 질문에서 짚고 넘어갈 부분은 최대는 (1,0,0) 혹 (-1,0,0)일때 나올테고, 최소는 (0,0,1) 혹은 (0,0,-1)일때 나오겠지요.

답변이 도움이 되었으면 좋겠습니다.

이해가 안가는 부분이 있다면 재차 질문을 부담없이 주세요 저도 사람인지라 질문을 잘못이해하고 잘못답변하는 경우도 많을 겁니다 :)

그럼 좋은 하루 되세요.

0

우선 지금 잠결에 답변을 하자면 다 이해를 제대로 하고 계신것같습니다.

제가 내일은 하루종일 다른일이 있어 답변을 하기 어렵고 일이 마무리 된 후 다시 천천히 보고 답변해드리도록 하겠습니다.

기다리실까봐 우선 이렇게 짧막한 답변부터 남겨둡니다.

0

정민기님의 프로필 이미지
정민기
질문자

우선 빠른 답변 굉장히 감사드립니다. 아마 지난번 질문 후 지금 질문이 굉장히 단기간이라 그러실 수 있는데 실질적으로 강의 들은지는 2달넘긴했습니다 ^^; 개인적 사정으로 주말에 2개정도 보고있는 현실이긴 하지만 꾸준히 잘 보고 있습니다. 염려 감사드립니다.

1) 질문1 에 대한 답변

"6.3의 example 3만 보아도 symmetr1ic이지만, matrix가 꽉차있는 형태의 경우에는(AI)x 0 이걸 풀어서 unit eigenvector를 찾아냈고, 이 경우엔 이미 (1,0,0) 꼴이 아닙니다. 여기까지 보셨으면 이해하셨을거라 생각합니다."

==> 정확합니다. 즉 A가 꽉차있지 않고 단순한 대각행렬일 때만, (1,0,0) e형태가 나오는 걸로 알고 있어서 그거에 대한 재확인 이었습니다. 즉 결국 이것이 cross product form이 없는 형태이고, 꽉차있다면 cross product form이 있는 형태라서 그런 것 아닌지요? 

추가적으로 6.4에서는 임의의 matrix A가 주어졌을때 AT가 symmetric 임을 사용하여 6.3단원에서 배운 내용을 활용하여 관련 내용들을 전개해 나가는 것입니다.

==> 네 맞습니다. 감사합니다 ^^

2) 질문 2에 대한 답변

"대각행렬의 경우는 symmetric matrix의 예제중 하나일뿐이니 정리6을 이해하기위해서 페이지6의 내용이 필요하겠지요. 어찌됐건 결국엔 (AI)x 0 형태 즉 A의 eigenvector를 구하면 된다는걸 알 수 있게 됩니다. P형태는 정리6의 이해를 위해 나온것입니다. 왜 symmetric matrix에 대해서 정리6이 나오는가? 에 대한 내용입니다."

==> 감사합니다. 제가 아마 직접 Characteristic equation을 풀어서 문제에서 eigen value들을 구하지 않고, 교재 적혀있는 것을 보고 D행렬들을 보거나 계산되있는 상태에서 보니 그런 것같습니다. 제 질문의 요지는 아마 6.2 에서 사용하는 (no cross product form) x= Py로 변형하였을 때 xTAx 최대, 최소 나오는 곳이 y=e1= (1,0,0)과 같은 경우로 판단하였고, 근데 6.3, 6.4 문제는 x에 대한 질문이므로 (y는 우리가 계산 편의상 구한 것이며, 이를 활용한 것이 6.3항 6페이지로 유도한 것이다 맞을까요?) x= Py =P e1 = P의 첫번째열로 나와진다 이렇게 해석하면 될까요?

아마 문제나 교재에서 이미 D나 P가 다 주어지고 제가 직접 eigen을 구해야한다는 필요성에 대해 크게 생각이 없다가y=(1,0,0)일때 바로 대입하면되지 라는 생각으로 단순 접근하여 제가 혼란을 한 것 같습니다. x = Py를 통해 최대, 최소 만족하는 eigen vector구하려해도 결국 (AI)x 0 는 먼저 풀어서 첫째, eigen value구하고, 둘째, P의 칼럼 성분인 해당 eigen value에 맞는 eigen vector 구하고 셋째, 이미 그 eigen vector를 정규화하면 원하는 답이 나옵니다.

여기서 x = Py변형은 두번째, 세번째 과정사이에서 no cross product form변형해서 그것이 실제로 그렇게 유도된다는 것을 6.3항 6페이지에서 설명한 것이다라고 봐집니다. 

 이 과정에서 Quadrantic form을 최대, 최소 만드는 y가 y = e 형태이므로 제가 x와혼동한 것 같습니다.

이렇게 질문하는 저도 참 말로 전달이 어려운 데, 강의하시는 분은 얼마나 전달에 신경쓰시고 어려우실까 라는 생각도 합니다. 상기 부분에서 틀린점이나 피드백 있으시면 감사합니다. 6.4장에서 해당 내용 접목시키는 것은 당연히 상기 부분으로 연결되는 것은 이해했습니다. 차분히 복습할 부분 복습하겠습니다~

감사합니다.

0

안녕하세요. 우선 굉장히 빠른 시간내에 강좌를 마무리 하신 것 같습니다.

우선은 다시 한번 전반적으로 리뷰를 하시는걸 추천할게요.

일단 답변을 드리자면,

질문1)

사실 질문의 의도를 제가 아직 이해를 못하고 있습니다. 같이 한번 배운 내용을 간단히 써보겠습니다. 질문하신것을 보면 제가 적은 내용을 보시면 충분히 이해하실거라 생각이 됩니다.

일단 unit vector라는것은 length (norm)이 1이라는 사실을 알고 계실테고, 어떤 matrix의 eigenvector라는것은

Ax = ƛx 형태의 solution x라는것도 알고 계실겁니다. 그리고 이때 x는 항상 normalization이 가능할테고요. (unit vector를 구할 수 있다라는 말)

6.3단원에서 배우는 내용은 xTx = 1이라는 구속조건을 부여했을때 symmetric matrix A가 주어진 상황에서 xTAx의 최대값과 최소값을 찾는 내용입니다. 그런데 그것이 놀랍게도 A의 eigenvalue와 관련이 있는것입니다. 이때 최대값은 최대 eigenvalue에 해당하는 unit eigenvector를 가지고 구할수있고요.

우선은 쉬운 예제인 대각항만 들어가 있는 형태를 먼저 사용하여 (1,0,0)형태로 답이 나온것입니다. 대각항만 들어가 있는 형태가 아니라면 위와같은 형태로 나온다는 보장은 없겠죠?

6.3의 example 3만 보아도 symmetric이지만, matrix가 꽉차있는 형태의 경우에는(AI)x 0 이걸 풀어서 unit eigenvector를 찾아냈고, 이 경우엔 이미 (1,0,0) 꼴이 아닙니다. 여기까지 보셨으면 이해하셨을거라 생각합니다.

추가적으로 6.4에서는 임의의 matrix A가 주어졌을때 AT가 symmetric 임을 사용하여 6.3단원에서 배운 내용을 활용하여 관련 내용들을 전개해 나가는 것입니다.

질문2)

6페이지의 내용은 대각 행렬의 경우 xTAx의 최대값 최소값을 어떻게 구하는지 예제1번을 통해서 알아냈기때문에, 이를 활용하여 theorem 6에 나오는 symmetric matrix에 대한 내용을 이해하기 위해 나온 페이지 입니다.

대각행렬의 경우는 symmetric matrix의 예제중 하나일뿐이니 정리6을 이해하기위해서 페이지6의 내용이 필요하겠지요. 어찌됐건 결국엔 (AI)x 0 형태 즉 A의 eigenvector를 구하면 된다는걸 알 수 있게 됩니다. P형태는 정리6의 이해를 위해 나온것입니다. 왜 symmetric matrix에 대해서 정리6이 나오는가? 에 대한 내용입니다.

6.4의 3페이지의 내용은 위의 내용들을 종합해보면 ATA의 eigenvalue와 eigenvector를 구하는거라 생각하시면 됩니다.

너무 많은 내용을 굉장히 빠른 시간내에 끝마치신 것 같습니다.

전반적인 이해는 하신것 같은데, 좀만 천천히 다시 살펴보시면 될것같습니다.

답변이 부족하다면 부담갖지 마시고 추가 질문을 자유롭게 주시길 바랍니다.

+) 노트에 간단하게라도 모든 단원의 내용을 한번씩 정리해두면 상당히 도움이 될겁니다 :)

감사합니다.

정민기님의 프로필 이미지
정민기

작성한 질문수

질문하기