결과적으로 문장 이해하는것처럼보여도 구조상  다음 나올 단어 예측이죠   근데 여기서 좀 논란이 생긴게   인간도 다음단어 머나올지 생각해서 하는데 같은거아니냐는 말도 있긴한데... 근본적으로는  이해랑은 거리가 멀죠 굳이  비유하자면 앵무새랑 비슷한거 같습니다 앵무새도  사람 말이해못하지만 조건반사적으로 따라하자나요

제 생각은 조금 다른것이 '이해하다' 라는것은 주어진 문장에 대해 맥락을 추론하는 과정이라고 생각합니다. 현재 LLM의 작동방식에 따르면 N번째 단어를 예측하기위해 N-1, N-2,...,1까지의 단어에 대한 맥락을 포함하여 추론하기때문에 어쩌면 문장을 이해한다고 볼 수도 있을것같습니다.

추상적으로 생각하면 이해한다고 봐도 될 듯

너무 깊이 들어가면 ‘그렇다면 사람은 이해하는가?’ 같이 끝이 없음

기본원리는 다음단어를 예측하는게 맞습니다

하지만 학습량이 어느정도를 넘어가면 지능이 생긴다고 합니다

ai가 영혼이나 감정 같은건 업지만 지능은 있다고 봅니다

수학문제도 푸는걸보면요 이해능력도높다고봅니다

NLP를 NLU와 NLG로 나누는데 NLU가 자연어 이해죠. 그게 뭔 이해냐라고 하면 철학적인 질문까지 가야된다고 생각이 드네요.

현재 LLM은 문장을 이해합니다.

요즘 사용하는 트렌스포머 모델은 디코더 모델이라 그 전 단어에서 다음에 올 단어의 확률을 계산해서 높은걸 디코딩해서 뱉습니다.
인간도 다음 단어를 예측하니 똑같다는 분들도 있지만 인간은 앞으로 나올 전체 문장의 맥락을 생각해서 예측하니 아직 인간의 이해한다와는 다릅니다.
이런 문제들때문에 메타에서 트렌스포머와 다른 새로운 아키텍처 연구를 하고 있긴하지만 어디까지 성과를 낼줄은 모르겠습니다.
관련 기사입니다.

이해라는 단어의 의미에 따라 다르지만, 저는 이미 트랜스포머 모델들이 지능을 갖추고 맥락을 이해한다고 봅니다. 학습된 자료를 기반으로 '인풋에 따라' 최대한 적절한 반응을 '추론'해서 '아웃풋을 도출'하는 매커니즘을 가졌다면 이들은 이미 자극에 반응하는 원시 신경계라고 생각해요. 사람만큼 지능이 안돼서 그렇지 짐승들... 포유류는 물론이고 조류와 어류, 곤충까지 학습과 추론을 하며, 적절한 방식(데이터셋)으로 교육시킬 수 있습니다. 생물의 지능은 스펙트럼이며, 인간을 여타 동물과 달리 특별하게 분류하는 절대적인 기준은 현재 아무것도 없습니다. 그렇기에 '인간에 비해 수준이 미비하다'라는 사유만으로 이해가 아니라하면 공감이 좀 안되는겁니다. 물론 전 LLM비롯한 공학분야에 문외한이나, 신경해부학실에서 학부연구생으로 몇 년간 뇌신경학을 깊게 파고들며 시냅스쪽 논문도 1저자로 낸 경험도 있기에 신경계에 대한 이해를 바탕으로 한 개인적인 생각입니다.

인간은 눈치껏 다음 단어를 나열한 문장이나 발생을 여러개 만들어서 생각하고 비교해서 우수한 답변을 골라서 말하는게 미덕이고,
트랜스포머는 눈치껏 가장 그럴싸할 것 같은 단어를 내뱉는거죠. 
인간은 생각하는 과정에서 지나간 단어를 다시 불러와서 연상하지만, 단일 트랜스포머는 낙장불입이고
logit bias도 활용하면서 여러개의 모델로 답변을 만들고 평가모델로 최종답변을 만들면 비슷하게 모사가 되긴하겠지만, 단일모델로 달성하는 것은 아니기 때문에 ‘AI가 생각한다.’는 거창한 표현에 어울리는 것 같지는 않아요. 

그리고 당연한 이야기지만, 실행하기 전엔 아무것도 안하잖아요. 지구멸망을 계획하지도 않고요. 
AI가 생각한다고 이해하는 경우에 이어져서 나오는 이야기 같아서 농담을 덧붙였습니다.

어텐션 입장에서 앞선 모든 토큰을 참고하기 때문에, 문장을 보고 다음 토큰을 내뱉는 건 맞지만 이걸 이해라고 부르기엔 이견이 있을듯