Gradient, Jacobian, Hessian 정리 | 입력과 출력 차원에 따라 미분 결과가 달라지는 이유

딥러닝 수학에서 Gradient, Jacobian, Hessian이 헷갈리는 이유는 미분 공식이 어려워서라기보다 입력과 출력의 형태가 달라지기 때문이다.입력이 스칼라인지 벡터인지, 출력이 스칼라인지 벡터인지에 따라 미분 결과는 숫자, 벡터, 행렬로 달라진다.먼저 함수 형태를 구분해야 한다미분 결과를 이해하려면 함수가 어떤 형태인지 먼저 봐야 한다.함수 형태 의미 미분 결과f: \mathbb{R} \rightarrow \mathbb{R}스칼라 입력 → 스칼라 출력스칼라f: \mathbb{R}^n \rightarrow \mathbb{R}벡터 입력 → 스칼라 출력Gradientf: \mathbb{R}^n \rightarrow \mathbb{R}^m벡터 입력 → 벡터 출력Jacobianf: \mathbb{R}^..

• format_list_bulleted AI & Machine Learning/ML 수학
• · 2026. 6. 2.

[SK플래닛] ASAC 빅데이터전문가 11기 | 20일차

20일차는 전날 배운 선형대수 개념이 실제 머신러닝의 대표적인 차원 축소 방법인 PCA로 이어지는 흐름이었다. 19일차에는 basis, eigenvalue, gradient, Jacobian 같은 개념을 각각 따로 봤다면, 이번에는 그 개념들이 왜 필요한지 조금 더 연결해서 볼 수 있었다.전체 흐름은 크게 두 갈래였다. 앞부분은 데이터를 평균 중심으로 옮기고, 공분산 행렬을 만들고, 새로운 basis에서 분산이 가장 커지는 방향을 찾는 과정이었다. 뒷부분은 벡터 미분과 인공신경망을 연결하면서, forward 계산뿐 아니라 backward 과정도 행렬과 미분으로 볼 수 있다는 내용이었다. 특히 PCA에서 “분산이 가장 큰 방향을 찾는다”는 말이 단순 설명이 아니라, 실제로는 WᵀSW를 최대화하는 문제이고,..

• format_list_bulleted [SK플래닛] ASAC 빅데이터전문가 11기/학습기록
• · 2026. 5. 18.

[SK플래닛] ASAC 빅데이터전문가 11기 | 19일차

19일차의 흐름은 선형대수 개념을 딥러닝 전에 한 번 정리하는 쪽에 가까웠다. 처음에는 basis, dimension, eigenvalue, Jacobian 같은 단어들이 각각 따로 나오는 것처럼 느껴졌는데, 다시 보면 하나의 흐름으로 이어졌다. 벡터 공간 안에서 기준이 되는 재료를 찾고, 그 재료로 공간을 표현하고, 행렬을 변환으로 바라본 뒤, 그 변환을 고유값과 미분으로 해석하는 과정이었다.1. 벡터 공간과 부분 공간가장 먼저 정리한 건 벡터 공간이었다. 벡터 공간은 단순히 벡터들이 모여 있는 집합이 아니라, 그 안에서 덧셈과 상수배가 계속 유지되는 공간이다. 어떤 벡터 두 개를 더해도 다시 그 공간 안에 있어야 하고, 벡터에 상수를 곱해도 다시 그 공간 안에 있어야 한다.이 조건이 중요한 이유는 그..

• format_list_bulleted [SK플래닛] ASAC 빅데이터전문가 11기/학습기록
• · 2026. 5. 15.