가장 놀랐던 것: LLM 내부 구조
영상을 보면서 가장 충격이었던 건 LLM 내부가 얼마나 촘촘하게 연결되어 있는지였습니다.
단순히 단어를 외워서 답하는 게 아니라,
수십억 개의 파라미터가 서로 연결되어 문맥을 파악하고 다음 단어를 예측하는 구조였습니다.
“이게 이렇게 복잡한 거였구나”라는 생각이 들었습니다.
처음 제대로 이해한 개념: 임베딩
공부하면서 처음 알게 된 개념이 임베딩(Embedding)이었습니다.
임베딩은 단어를 숫자로 변환하는 과정입니다.
컴퓨터는 텍스트를 그대로 이해하지 못하기 때문에,
단어를 수백 차원의 숫자 배열로 바꿔서 의미를 표현합니다.
“왕 – 남자 + 여자 = 여왕” 같은 연산이 가능한 것도
단어가 의미를 담은 숫자로 변환되어 있기 때문이라는 걸 처음 알았습니다.
이 개념을 알고 나서 AI가 언어를 처리하는 방식이 훨씬 납득이 됐습니다.
알고 나서 달라진 점
내부 구조를 조금 이해하고 나니 프롬프트를 쓰는 방식이 달라졌습니다.
LLM은 문맥 전체를 보고 다음 단어를 예측하기 때문에,
질문을 구체적으로 쓸수록 더 정확한 답변이 나온다는 게 이제 이해가 됩니다.
막연하게 “구체적으로 써야 한다”고 알고 있던 것이 이유가 생긴 느낌이었습니다.
참고한 영상
아래 영상을 보고 공부했습니다.
3Blue1Brown 한국어 채널로, 시각적으로 설명해줘서 입문자도 이해하기 좋습니다.
https://www.youtube.com/watch?v=g38aoGttLhI
마치며
LLM 내부를 몰라도 AI를 쓰는 데는 문제없습니다.
하지만 한 번이라도 이해하고 나면 AI를 쓸 때 훨씬 자신감이 생깁니다.
어렵게 느껴져도 영상 하나로 시작해보는 걸 추천합니다.
