Posts
Q&A
NMS ๋ก์ง ๋ฌธ์ ๋๋ ค์
์๋ ํ์ญ๋๊น, ์, ์ ๊ฐ Confidense score๊ฐ ๋์์๋ก ๋ง์ ๋ฐ์ค๊ฐ ์ ๊ฑฐ ๋๋ค๊ณ ์ด์ผ๊ธฐ๋ฅผ ํ๋ค๋ฉด, ๊ทธ๊ฑด Confidence (score) threshold๊ฐ ๋์์๋ก ์ด๋ผ๋ ์๋ฏธ ์ ๋๋ค. ๋ฌธ๋งฅ์ ์ผ๋ก ๊ทธ๋ ๊ฒ ํ๋จํ์ค ๊ฑฐ๋ผ๊ณ ์๊ฐํ๊ณ ์ด์ผ๊ธฐ ๋๋ ธ์ง๋ง, ์ ํํ๊ฒ๋ ๋ง์ํ์ ๋๋ก Confidence threshold ์ ๋๋ค.๊ฐ์ฌํฉ๋๋ค.
- 0
- 2
- 13
Q&A
sql ์ ๋ฌธ์์ธ๋ฐ, ์ด ๊ฐ์์ sql ์ฝ๋ฉํ ์คํธ์ ์ฐ๊ด์ด ์์๊น์?
์๋ ํ์ญ๋๊น,์ด๋ค ์ํ์ธ์ง ์ ๋ชฐ๋ผ์ ๋ญ๋ผ๊ณ ๋ง์๋๋ฆฌ๊ธฐ๊ฐ ์ด๋ ต๊ตฐ์. ๋ณธ ๊ฐ์๋ ์ํ ์ฉ๋๋ก ์์ฑ๋ ๊ฒ์ ์๋์ง๋ง, ๋ณธ ๊ฐ์๋ฅผ ์๋ฃํ์ ๋ค๋ฉด, ์ฌ๋งํ SQL ์ฝ๋ฉ ํ ์คํธ๋ ๊ฐ๋ณ๊ฒ ํต๊ณผํ์ค ๊ฑฐ๋ผ ์๊ฐ๋ฉ๋๋ค.์ํ์ ์ต์ํด ์ง๊ธฐ ์ํ ์ถ๊ฐ์ ์ธ ๋๋น๋ฅผ ์ํด, ์จ๋ผ์ธ SQL ๋ฌธ์ ํ์ด ์ฌ์ดํธ๋ฅผ ํ์ฉํด ์ฐ์ตํ์๋ ๊ฒ๋ ์ข์ ๊ฒ ๊ฐ์ต๋๋ค. ๊ฐ์๋ฅผ ๋ค์ผ์ ๋ค์๋ ๋ณธ ๊ฐ์ ๋ฌธ์ ๋ณด๋ค ์จ๋ผ์ธ SQL ๋ฌธ์ ๊ฐ ๋ ์ฝ๊ฒ ๋๊ปด์ง์ค ๊ฒ๋๋ค ^^๋ค๋ง SQLD ์ ๊ฐ์ ์ํ์ ๋ณธ ๊ฐ์์ ๋ค๋ฅธ ๋ด์ฉ์ด๋ผ SQLD ์ํ ๋๋น ์ฉ๋๋ ์๋๋๋ค.๊ฐ์ฌํฉ๋๋ค.
- 0
- 2
- 23
Q&A
GCSSinkconnector
์๋ ํ์ญ๋๊น, ํ์ธํด๋ณด๋, GCS Sink Connector๋ ๋ง์ํ์ ๋๋ก ๋ผ์ด์ผ์ค๊ฐ ํ์ํ๊ตฐ์. ๋ผ์ด์ผ์ค๊ฐ ๋ถ๋ด๋์ ๋ค๋ฉด, ์ง์ ๊ตฌํํ์ ์ผ ํ ๊ฒ ๊ฐ์ต๋๋ค. ๋ค๋ง connector๋ฅผ ์ง์ ๊ตฌํํ์๋ ๊ฒ ๋ณด๋ค๋ Java๋ก Consumer ๊ธฐ๋ฐ์ผ๋ก Object Storage์ writeํ๋ application์ ๊ตฌํํ์๋๊ฒ ๋ ์ข์ ๊ฒ ๊ฐ์ต๋๋ค. ์๋ฐ์ ์กฐ์๊ฐ ๊น์ผ์๋ค๋ฉด GCS Sink Connector๋ฅผ ์ญ ์ปดํ์ผํด์ ์์ค์ฝ๋๋ฅผ ๋ถ์ํ์ ๋ค์์ ๊ตฌํํด๋ณด์๋ ๊ฒ๋ ์ข์ผ์ค ๊ฒ ๊ฐ์ต๋๋ค. ์๋ฌด๋๋ file write๋ผ ๋ค๋ฅธ connector ๋ณด๋ค๋ ๊ตฌํ์ด ์๋์ ์ผ๋ก ์ฌ์ธ ๊ฒ ๊ฐ์ต๋๋ค. ๊ฐ์ฌํฉ๋๋ค.
- 0
- 1
- 7
Q&A
TMDB5000 ๋ฐ์ดํฐ ์ธํธ๋ฅผ ์ด์ฉํ ์ฝํ ์ธ ๊ธฐ๋ฐ ํํฐ๋ง ๊ตฌํ ์ค์ต - 02 ๊ฐ์๋ด์ฉ ์ง๋ฌธ์ ๋๋ค
์๋ ํ์ญ๋๊น, ์ฒซ๋ฒ์งธ ๋์ค๋ find_sim_movie() ํจ์๊ฐ ์ฝ๊ฐ ์์ค์ฝ๋๊ฐ ์๋ชป๋ ์ธก๋ฉด์ด ์์ต๋๋ค. ์๋๋ ์๊ธฐ ์์ ์ ์ธ์ ๋ ์ ์ฌ๋๊ฐ 1์ด๊ธฐ ๋๋ฌธ์ ์๊ธฐ ์์ ์ ์ ์ธํ ์ฝ์ฌ์ธ ์ ์ฌ๋ ํ๋ ฌ์์ ๊ทธ ๋ค์ ๋์ ๊ฐ์ ์ฐพ์์ผ ํ๋๋ฐ, ํด๋น ์์ค ์ฝ๋๊ฐ ์๋ต์ด ๋์ด ์์ต๋๋ค. ๊ทธ๋ฐ๋ฐ ์ด ์ฝ๋๊ฐ ์๋ต๋์์์๋ The Godfather์ ๊ฐ์ฅ ์ ์ฌํ ์ํ๊ฐ ์๊ธฐ ์์ ์ด ์๋ ๋ค๋ฅธ ์ํ๋ฅผ ์ฐพ์ ์ฃผ๋ ๊ฒฐ๊ณผ๊ฐ ๋ ์ ์๋๋ฐ, ์ด๋ฐ ๊ฒฝ์ฐ๋ ํด๋น ์ ์ฌ๋๊ฐ 1๊ณผ ์ปดํจํฐ ๊ณ์ฐ์ ์ผ๋ก ๋์ผํ 0.999999999 ์ ๊ฐ์ ๊ฐ์ผ ๋ ์ด ๊ฒฝ์ฐ 1๋ก ๋์ผํ๊ฒ ๊ฐ์ฃผํด์ argsort() ์์ ํด๋น ์ธ๋ฑ์ค๋ฅผ ๊ฐ์ฅ ๋์ ๊ฐ์ผ๋ก ์ถ์ถํด ์ค ์ ์์ต๋๋ค. ๊ทธ๋์ ๊ฐ์ ์์์ ๋ง์ง๋ง ์ฏค์ ๋ณด์๋ฉด find_sim_movie() ํจ์๊ฐ ์ฌ ์ ์ ๋์ด ์์ต๋๋ค. ์ฌ๊ธฐ์๋ ๊ธฐ์ค์ํ index๋ฅผ ์ ์ธํ๋ ๊ฒ์ผ๋ก ์์ค์ฝ๋๊ฐ ์ ๋๋ก ์ ์ฉ๋ฉ๋๋ค. # ๊ธฐ์ค ์ํ index๋ ์ ์ธ similar_indexes = similar_indexes[similar_indexes != title_index]์ฌ ์ ์๋ find_sim_movie() ํจ์๊ฐ ๋ฐ๋ฅด๊ฒ ์์ฑ๋ ํจ์๋ก ์๊ฐํด ์ฃผ์๋ฉด ๋ ๊ฒ ๊ฐ์ต๋๋ค. ๊ฐ์ฌํฉ๋๋ค.
- 0
- 2
- 33
Q&A
๋ฐ์ดํฐ ๋ก๋ ๋ฐ ๋ก๋ฉ ๋ ํ์ผ ๋ฐ์ดํฐ ๋ชฉ๋ก ์กฐํ ๋ฐฉ
์๋ ํ์ญ๋๊น, ๋จผ์ ์ฝ๋๊ฐ ์ ์คํ์ด ๋๋ฉด ํ์ผ์ด ์ ์ฌ๋ผ ๊ฐ ๊ฒ์ ๋๋ค. ํ๋ฉด ๋ฉ๋ด๊ฐ ๊ฐ์์ ์ด์ง ๋ค๋ฅด๊ฒ ๋ฐ๋์๊ตฐ์. ๊ฐ์๋๋ก ์ผ์ชฝ ๋ฉ๋ด์ Catalog ์ ํํ์๊ณ ๋์ค๋ ํ์ ๋ฉ๋ด์์ Create Table ํด๋ฆญํ์๋ฉด ๋์ค๋ ๋ฉ๋ด์ ๋ณด์๋ฉด DBFS Target Directory ๋ฐ์ Files์ Drop files to upload, or click์๋ค๊ฐ Local PC์ ์๋ ํ์ผ์ ๋๋๊ทธํ์ ์ ์ฌ๋ฆฌ์๋ฉด ํ์ผ์ Upload ํ๋ ๊ฒ ๊น์ง๋ ๋๊ฐ์๋ฐ dbfs ๋ฉ๋ด๊ฐ ์ฌ๋ผ์ก๊ตฐ์. ํ์ง๋ง upload ํด๋ณด์๋ฉด upload ํ๋ฉด ๋ฐ์ "File Uploaded to /FileStore/tables/ํ์ผ๋ช " ์ด ๋์ค๋ ๊ฒ์ ํ์ธํ์ค ์ ์์ต๋๋ค. create table with ui, create table in notebook ๋ฒํผ์ ์๋๋ฅด์ ๋ ๋ฉ๋๋ค(๊ฐ์์์๋ ๋๋ฅด์ง ์์ต๋๋ค)๊ฐ์ฌํฉ๋๋ค.
- 0
- 2
- 34
Q&A
๋ผ์,๋ฆฟ์ง gridsearchcv์์ ์ํ๊ฐ๊ด๋ จ
์๋ ํ์ญ๋๊นํน๋ณํ ๊ธฐ์ค์ ์์ต๋๋ค. ๋ง์ํ์ ๋๋ก ๊ฒฝํ์น์ ์ธ ๋ถ๋ถ๋ ์์ต๋๋ค. ์๋ฅผ ๋ค์ด ๋ผ์ ๊ฐ์ ๊ฒฝ์ฐ ์์์ ์ดํ ์ข ์๊ฒ ๊ฐ์ ์ค์ ํด์ ์ฌ๋ฆฌ๋ฉฐ ์์ํ๋ ๋ฑ ๊ฒฝํ์น๋ก ๊ฐ์ ์ค์ ํ์์ต๋๋ค ๊ฐ์ฌํฉ๋๋ค
- 0
- 2
- 37
Q&A
์ฌ์ดํท๋ฐ์ ์ด์ฉํ GMM ๊ตฐ์งํ ์ค์ต ๊ฐ์ ์ค ์ง๋ฌธ์ ๋๋ค.
์๋ ํ์ญ๋๊น, ํด๋น ๋ถ๋ถ์ ๊ตฐ์งํ์ ๋ํ ๋ถ๋ถ์ด ์๋๊ณ , ์ํ ๋ฐ์ดํฐ๋ฅผ ๋ง๋ค๊ธฐ ์ํ ์์ ์ ํ ๋ถ๋ถ์ ๋๋ค. # make_blobs() ๋ก 300๊ฐ์ ๋ฐ์ดํฐ ์ , 3๊ฐ์ cluster ์ , cluster_std=0.5 ์ ๋ง๋ฌ. X, y = make_blobs(n_samples=300, n_features=2, centers=3, cluster_std=0.5, random_state=0)์์ ๊ฐ์ด make_blobs()๋ก ์ํ ๋ฐ์ดํฐ๋ฅผ ๋ง๋ค์ง๋ง, ์ด๊ฑธ ์๋์ชฝ์ผ๋ก ๊ธธ๊ฒ ๋์ด๋๋ ํ์ํ ํํ์ ๋ฐ์ดํฐ ์ธํธ๋ก ๊ทธ๋ฅ ๋ง๋ค ์ ์์ต๋๋ค. ๊ทธ๋์ ์ผ์ ์ ์ ํ ๋ณํ์ ํ๋๋ฐ, ์ ํ ๋ณํ์ ํ๊ธฐ ์ํด์ ์ ์ฉ๋๋ ๊ฐ์ด transformation = [[0.60834549,-0.63667341],[-0.40887717,0.85253229]] ์ ๋๋ค. ์ด๊ฑด ํ์ ๋ฐ ๋์ด๋๋ ๋ฐ์ดํฐ ๋ณํ์ ์ํด ์๋ณธ ๋ฐ์ดํฐ์ ์ ์ฉํ๋ ํํฐ์ฑ ๋ฐ์ดํฐ๋ผ๊ณ ์๊ฐํด ์ฃผ์๋ฉด ๋ฉ๋๋ค. ์ด๊ฑธ ์๋ณธ X ๋ฐ์ดํฐ์ np.dot()์ transformation๊ฐ์ ์ ์ฉํ๊ฒ ๋๋ฉด transformation ๊ฐ์ ๋ฐ๋ผ ํ์ ๋ฐ ๋์ด๋๋ ๋ฐ์ดํฐ ๋ณํ์ ์ํํ๊ฒ ๋ฉ๋๋ค. X_aniso = np.dot(X, transformation) ๊ฐ์ฌํฉ๋๋ค.
- 0
- 1
- 28
Q&A
ํด๋ฌ์คํฐ ๋ฒ์ ์ค์
10.4๋ก ์ค์น ํ์๋ฉด ๋ ๊ฒ ๊ฐ์ต๋๋ค. ํ ์คํธ ๊ฒฐ๊ณผ ์ค์ต ์ฝ๋ ๋ชจ๋ ์ ์ ๋์ํฉ๋๋ค. ๊ฐ์ฌํฉ๋๋ค.
- 0
- 3
- 44
Q&A
ํด๋ฌ์คํฐ ๋ฒ์ ์ค์
์๋ ํ์ญ๋๊น, ์, ๊ทธ๋ฌ์ จ๊ตฐ์. ์๋ ค์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค. ์ผ๋จ์ 10.4 ๋ก ์ค์นํด์ ๊ฐ์ ์๊ฐ ๋ถํ๋๋ฆฝ๋๋ค. ์ ๊ฐ ์ค์ต์ฝ๋๊ฐ ํธํ๋๋ ์ง ํ์ธํด ๋ณด๋๋ก ํ๊ฒ ์ต๋๋ค. ํ์ธ์ ์๊ฐ์ด ๊ฑธ๋ฆด๊ฒ ๊ฐ์ต๋๋ค. ๋นจ๋ฆฌ ์งํํด์ ์ด๋ฒ์ฃผ ์ฃผ๋ง๊น์ง ์์ ํด ๋ณด๋๋ก ํ๊ฒ ์ต๋๋ค. ๊ฐ์ฌํฉ๋๋ค.
- 0
- 3
- 44
Q&A
Consumer Group ๊ฐ์ Lag ์ง๋ฌธ์์ต๋๋ค!
์๋ ํ์ญ๋๊น, 2000๊ฑด์ ๋ณด๋ด๊ณ , 2000๊ฑด์ ์์ง ์ฝ์ง ์์์ผ๋ฉด, 2000๊ฑด์ด ์๋๊ฒ ๋ง์ต๋๋ค. ํ์ง๋ง, ์ ์ด์ฃผ์ ๊ธ ์์ฒด๋ก๋ ์ด๋ป๊ฒ ๋ฉ์์ง๋ฅผ 2000๊ฑด์ ๋ณด๋ด์ ๊ฑด์ง, 2000๊ฑด์ด ๋ง๊ฒ ๊ฐ ๊ฑด์ง, 1300๊ฑด์ด lag๋ก ์ด๋ป๊ฒ ๋์ด ์๋์ง ํ์ธํ ์ ์๊ตฐ์. . ์ ์๊ฐ์ 2000๊ฑด์ด ์ ๋๋ก ๊ฐ ๊ฑด์ง ๋ค์ ํ์ธํด ๋ณด์๋ฉด ์ด๋จ๊น ์ถ์ต๋๋ค๋ง, ์ด์ฉง๋ , 2000๊ฑด์ ๋ณด๋ด์ utility ๋ช ๋ น์ด๋ฑ์ผ๋ก 2000๊ฑด์ด ๋ช ํํ ๋ณด๋ด์ง ์คํฌ๋ฆฐ ์บก์ฒ์, 1300๊ฑด์ด lag๋ก ๋์ด ์๋ ์คํฌ๋ฆฐ ์บก์ฒ๋ฅผ ์ฌ๊ธฐ์ ์ฌ๋ ค๋ด ์ฃผ์๋ฉด ์ ๊ฐ ์ํฉ์ ํ๋จํ๋๋ฐ ๋์์ด ๋ ๊ฒ ๊ฐ์ต๋๋ค. ๊ฐ์ฌํฉ๋๋ค.
- 0
- 2
- 43