gpt 는 신이야

방금 학부때 배웠던 내용 좀 찾아보고 왔는데
일단 선형 회귀에 대한 최소 제곱법은 이론상 입력 행렬에 대해서 간단한 행렬곱 계산으로 풀려서 굳이 gradient descent가 필요 없음

1 맞음
2 효율 떨어짐. 그래서 feature 가 적을 때는 통계학자들이 공식 만든 거 돌리는 게 빠름. 하지만 feature가 많으면 결국 통계학에서도 경사하강법 씀
3 행렬 << 그냥 값 나열 이라고 생각하면 됨. 그냥 각각의 feature에다가 곱하는 거임.
4 인공지능의 방법론은 엄청 많음. 이건 기본 퍼셉트론이 작동할 때랑 그냥 선형회귀만 동작할 때의 내용이라고 기억함. 분류 알고리즘 같은 거 알고 있으면 여러가지 다른 거 가능

행렬이 곧 벡터니까 선대로 계산되지

경가하강법은 방향을 찾기 위한 거고 오차를 빠르게 줄이기 위한 최적화법은 따로 있음
무지성으로 adam쓰면 되긴 함

1. 전체적으로 흐름은 잘 잡은 것 같은데, 좀 불안하게 이해하고있는게 많은거같다

인공지능이 주어진 데이터의 패턴을 탐색하는 과정 중 하나가 회귀분석이고, 그 중에서도 선형 회귀분석이다. 
>> 인공지능의 정의를 조금 더 명확히 공부해봐봐. 기계학습이랑 헷갈릴 수 있음

선형 회귀분석은 좌표상 데이터가 놓인 점들과 가장 가까운 추세선을 찾는 과정이고, 이 추세선의 방정식을 찾기 위해 사용되는 방법이 최소제곱법이다. 
>> "추세선"은 꼭 선형일 필요가 없음. 일차항만으로 표현되는 추세선을 찾는 것이라고 하는것이 더 정확한 표현인듯
>> 최소제곱법은 방정식(의 미정 계수, 또는 "가중치")를 최적화하는 하나의 방법일 뿐이고 꼭 이 방법만 있지는 않음.

최소제곱법을 이용하여 생성한 함수의 최솟값을 구하여, 오차를 최소화하기 위해 경사하강법이 사용된다. 
>> "최소제곱법을 이용하여 생성한 함수"는 이상한 표현임. 최소제곱법은 "Sum of squared error"라는 오차 함수를 최소화하고자 하는 목적함수로 정의함
>> 경사하강법을 항상 사용하지는 않음. 기본 최소제곱법과 비슷한 방법들(ridge 등)은 모두 해석적으로 최소 오차가 되는 해를 구할 수 있음. (경사하강법은 수치적인 해법 = 근사값을 구함)
>> 경사하강법이 사용되는 경우는 몇 가지 경우가 있을텐데,
  - 오차함수가 조금 복잡해져서 해석적 해를 구할 수 없거나 매우 어려운 경우
  - Feature(변수)의 개수가 너무 많아 행렬이 뒤지게 커져 한번에 구하기 어려운 경우
  - 기타등등
  일반적인 선형회귀에서는 잘 해당되지 않음

경사하강법은 그래프상의 특정 한 점에 대한 순간 경사도 (이때 미분 사용) 측정하여, 경사가 점점 감소하는 방향으로 계속 이동하는 방법이다. 이 방법을 이용하여 최소제곱법으로 정의한 함수의 극솟값, 즉 최솟값을 확인하여 오차를 최소화할 수 있다. 
>> "순간 경사도 (이때 미분 사용) " 어색한 표현 -> 미분값의 정의가 순간 경사도임
>> 극솟값은 최솟값이 아님. 정확히는 보장되지 않음.
>> 경사하강법을 통해 찾은 극솟값은 최솟값임이 보장되지 않지만 그럼에도 불구하고 쓰는 이유: 극솟값이 많이 존재하는 오차 함수는 최솟값 찾는게 거의 불가능하니까

추가적으로, 데이터 간 패턴을 찾는 과정에서 데이터 점 간 가중치를 달리 부여하여 패턴을 특정하는 데에 있어 정확성을 높이고, 이 과정에서 선형대수학 (행렬)의 개념이 이용된다. 
>> 이 문장은 무슨 말을 하고싶은지 잘 모르겠음.
>> 데이터 점 간의 가중치를 다르게 부여하지 않음. 데이터 점을 표현하는 변수들(feature)이 출력값 예측에 사용되는 가중치를 다르게 부여한다고 하는 편이 조금 더 정확함. 
>> 선형대수학은 여러 값을 동시에 다루려면 그냥 필연적으로 사용되는거라, 반드시 이 과정에서 필요하다고 할수만은 없는듯.


2. 
1번에서 대충 답을 한것같은데, 경사하강법을 쓰는건 도저히 해석적으로 오차를 최소화할수가 없어서임.
경사하강법은 일반적으로 선형회귀 말고 인공신경망 모델에서 많이 쓰는데, 인공신경망 모델의 오차함수는 극솟값이 극단적으로 많이 존재하고 차원도 높아서 최솟값을 찾는게 거의 불가능
특히 데이터가 매우 많은 경우에 취약함

그런데 경사하강법은 너 말대로 수렴이 꽤나 느리지만, 일단 데이터가 있으면 아무튼 극솟값으로 수렴시키기가 상대적으로 쉬움 (해당 극솟값이 진짜 최솟값에 얼마나 가깝냐는 다른 문제)
특히 한 번 경사하강법을 적용할 때 데이터의 일부만 사용하는 방식(mini batch라 함)을 쓸 수 있어서 데이터가 많을때(수만 ~ 수백만)는 사실상 대안이 없음

개선법은 기울기(1차 미분값) 말고 곡률(2차미분값)을 사용하는 방법을 떠올릴 수 있을텐데, 이건 계산 코스트때문에 딥러닝분야에서는 거의 쓰이지 않음.
다만 딥러닝 말고 훨씬 단순한 회귀모델에서는 이와 같은 방법이 종종 쓰임 (L-BFGS, Conjugate gradient 등)
딥러닝 쪽에서도 2차미분값의 근사값을 사용해서 경사하강법을 개선하고자 하는 시도가 되게 최근에는 이루어지긴 함. (KFAC, AdaHessian 등)

하지만 대부분의 경우 경사하강법의 기본 골자는 유지하면서 가중치 최적화를 더 쉽게 해주는 방법을 많이 사용함. (Adam 계열의 알고리즘)
이런 애들은 기본 경사하강법 대비 수렴을 훨씬 잘해서 많이 쓰임.

3. 
입력값이 10개고, 출력값이 3개라고 하자.
입력값과 출력값을 연결하는 경우의 수는 10 x 3개다.
그러면 30개의 가중치를 생각할 수 있다.
이걸 (10 x 3) 행렬로 표현하면 편리하다.
행렬끼리의 연산은 선형대수학에서 매우 많이 연구되어 있고 계산이 편리함. (그래서 선대가 중요한것)

4.
당연히 매우 부분적인 이야기이고, 전체의 0.1%도 안될거라 생각함.
그러나 기본적인 아이디어는 여기에서 크게 벗어나지 않고, 내용이 다양해지는 이유는 다음과 같음.
- 오차 함수를 뭘 쓰는가?
- 회귀(또는 분류)모델의 수학적 구조를 어떻게 짜야 좋을까? (KRR, GP, Decision tree, NN, CNN, RNN, GNN, 기타등등등)
- 이런 모델들에다가 내가 갖고있는 데이터를 넣고 싶은데, 대체 어떻게 얘들을 수치화해야 될까?
- 학습할때 데이터를 어떻게 먹일까?
따라서 너무 겁먹지 말고 적용하고 싶은 분야와 관련된 예시를 차근차근 보는걸 추천함.