PCA란 무엇인가 | 공분산 행렬과 고유벡터로 이해하는 차원 축소

PCA(Principal Component Analysis)는 데이터를 더 적은 차원으로 압축하면서도, 원래 데이터의 중요한 정보를 최대한 유지하려는 차원 축소 기법이다. 핵심은 단순히 컬럼 개수를 줄이는 것이 아니라, 데이터가 가장 많이 퍼져 있는 방향을 새로운 축으로 다시 표현하는 것이다.PCA를 왜 사용하는가머신러닝에서는 feature 수가 많아질수록 문제가 생길 수 있다.계산량 증가feature 간 중복 정보 증가시각화 어려움overfitting 가능성 증가예를 들어 키와 몸무게처럼 거의 비슷하게 움직이는 feature 두 개가 있다면, 두 feature를 모두 사용하는 대신 “사람의 체격” 같은 하나의 축으로 줄여서 표현할 수도 있다.PCA는 이런 식으로:원래 feature 공간→ 정보 손실을 ..

• format_list_bulleted AI & Machine Learning/ML 수학
• · 2026. 6. 2.

Gradient, Jacobian, Hessian 정리 | 입력과 출력 차원에 따라 미분 결과가 달라지는 이유

딥러닝 수학에서 Gradient, Jacobian, Hessian이 헷갈리는 이유는 미분 공식이 어려워서라기보다 입력과 출력의 형태가 달라지기 때문이다.입력이 스칼라인지 벡터인지, 출력이 스칼라인지 벡터인지에 따라 미분 결과는 숫자, 벡터, 행렬로 달라진다.먼저 함수 형태를 구분해야 한다미분 결과를 이해하려면 함수가 어떤 형태인지 먼저 봐야 한다.함수 형태 의미 미분 결과f: \mathbb{R} \rightarrow \mathbb{R}스칼라 입력 → 스칼라 출력스칼라f: \mathbb{R}^n \rightarrow \mathbb{R}벡터 입력 → 스칼라 출력Gradientf: \mathbb{R}^n \rightarrow \mathbb{R}^m벡터 입력 → 벡터 출력Jacobianf: \mathbb{R}^..

• format_list_bulleted AI & Machine Learning/ML 수학
• · 2026. 6. 2.

고유값과 고유벡터 정리 | 행렬 변환 후에도 방향이 유지되는 벡터

고유값(Eigenvalue)과 고유벡터(Eigenvector)는 행렬이 공간을 어떻게 변형시키는지 보여주는 핵심 개념이다.특히 중요한 점은, 어떤 벡터들은 행렬 변환을 거쳐도 방향이 유지된다는 것이다. 이때 얼마나 늘어나거나 줄어드는지를 나타내는 값이 고유값이고, 그 방향을 유지하는 벡터가 고유벡터다.고유벡터란일반적으로 행렬을 벡터에 곱하면 방향과 크기가 모두 바뀐다.하지만 특정 벡터는:방향은 유지되고길이만 변한다이런 특수한 경우가 존재한다.이 벡터를 고유벡터(Eigenvector)라고 한다.자료에서도 “행렬을 곱해도 방향이 유지되는 벡터”를 고유벡터라고 설명한다.고유값이란고유벡터가 얼마나 늘어나거나 줄어드는지를 나타내는 값이 고유값(Eigenvalue)이다.수식으로는 이렇게 표현한다.Ax = \lamb..

• format_list_bulleted AI & Machine Learning/ML 수학
• · 2026. 6. 2.

[SK플래닛] ASAC 빅데이터전문가 11기 | 32일차

32일차는 딥러닝으로 넘어가면서, 기존 머신러닝과 무엇이 달라지는지 큰 흐름을 잡은 날이었다. 앞에서는 Y = f(X)에서 좋은 함수를 찾는다는 관점으로 머신러닝을 봤다면, 이번에는 그 함수 f를 인공신경망 구조로 만들고, 입력과 출력의 형태를 훨씬 자유롭게 설계할 수 있다는 점을 봤다.특히 전통적인 머신러닝은 대부분 데이터를 2D matrix 형태로 맞춰야 했지만, 딥러닝은 이미지, 영상, 음성, 텍스트처럼 더 복잡한 입력과 출력을 다룰 수 있다는 점이 크게 달랐다. 물론 자유도가 커진 만큼 파라미터도 많아지고, 학습 시간과 비용도 커진다는 점도 같이 봤다.1. AI, Machine Learning, Deep Learning의 관계먼저 AI, ML, DL의 관계를 다시 정리했다. AI는 가장 큰 범주이..

• format_list_bulleted [SK플래닛] ASAC 빅데이터전문가 11기/학습기록
• · 2026. 6. 2.