개념 정리
인공지능과 머신러닝 기초
단원 개요
머신러닝의 3대 패러다임(지도·비지도·강화학습), 과적합(Overfitting)과 평가 지표, 인공신경망의 경사하강법과 역전파, 트랜스포머(Self-Attention)와 LLM을 학습합니다.선수 개념
필수 키워드:머신러닝(Machine Learning)분류 (Classification)회귀 (Regression)군집화 (Clustering)PCA보상(Reward)의 총합을 극대화가중치(, 중요도)편향()오차 역전파 (Backpropagation)연쇄 법칙(Chain Rule)
1
머신러닝 3대 학습 방식: 지도학습, 비지도학습, 강화학습
규칙을 사람이 직접 코딩하는 전통적 프로그래밍과 달리, 머신러닝(Machine Learning)은 대규모 데이터로부터 컴퓨터가 스스로 패턴(함수 )을 학습합니다.
1
지도학습 (Supervised Learning - 정답 레이블 가 주어짐):
•
입력 데이터(, 문제)와 정답(, 레이블) 쌍을 함께 주고 학습시켜 새로운 입력에 대한 정답을 예측합니다.
•
분류 (Classification): 이산적인 카테고리(범주)를 맞추는 문제 (예: 스팸 메일 판별 이진 분류, 손글씨 숫자 다중 분류, 로지스틱 회귀, 랜덤 포레스트, SVM).
•
회귀 (Regression): 연속적인 실수 수치를 예측하는 문제 (예: 아파트 면적·역세권 거리로 매매 가격 예측, 내일 기온 예측, 선형 회귀).
2
비지도학습 (Unsupervised Learning - 정답 레이블이 없음):
•
정답 없이 입력 데이터() 자체의 유사도나 숨겨진 분포 구조를 스스로 파악합니다.
•
군집화 (Clustering): 비슷한 특성을 가진 데이터끼리 그룹으로 묶기 (예: K-Means 고객 구매 성향 세분화).
•
차원 축소 (Dimensionality Reduction): 핵심 정보는 유지하면서 수백 개의 특성을 2~3개로 압축 (예: 주성분 분석 PCA, 데이터 시각화).
3
강화학습 (Reinforcement Learning - 시행착오와 보상):
•
에이전트(Agent)가 환경(Environment) 속에서 현재 상태(State)를 관찰하고 행동(Action)을 취하며, 그 결과로 얻는 보상(Reward)의 총합을 극대화하는 최적의 정책(Policy)을 스스로 터득합니다 (예: 알파고 바둑, 자율주행 제어, 로봇 보행, LLM의 RLHF 정렬).
핵심 원리
문제 유형 1초 판별법: 정답(Label)이 있으면서 예측할 값이 '개 vs 고양이'처럼 딱 떨어지는 범주이면 [지도학습-분류], '7억 5,200만 원'처럼 연속된 숫자이면 [지도학습-회귀], 아예 정답 없이 비슷한 것끼리 묶는다면 [비지도학습-군집화]입니다!2
딥러닝의 학습 원리: 손실 함수, 경사하강법, 오차 역전파
•
퍼셉트론과 다층 신경망 (MLP / Deep Learning):
•
입력 신호()에 가중치(, 중요도)를 곱해 더하고 편향()을 더한 뒤, 비선형 활성화 함수(Activation Function: ReLU, Sigmoid, Softmax)를 통과시켜 다음 층으로 전달하는 은닉층(Hidden Layer)을 깊게 쌓은 구조입니다.
•
신경망이 스스로 똑똑해지는 3단계 반복 사이클:
1
순전파 (Forward Propagation)와 손실 함수 (Loss Function): 현재 가중치로 예측값()을 계산한 뒤, 실제 정답()과 얼마나 틀렸는지를 나타내는 오차인 손실 함수(MSE 평균제곱오차, Cross-Entropy 교차 엔트로피) 값을 구합니다.
2
오차 역전파 (Backpropagation): 출력층에서 발생한 오차를 미분의 연쇄 법칙(Chain Rule)을 이용해 출력층에서 입력층 방향으로 거꾸로 전파하며, 각 가중치()가 오차에 얼마나 책임을 져야 하는지 기울기(Gradient, )를 고속으로 계산합니다.
3
경사하강법 (Gradient Descent): 손실 함수의 골짜기(최솟값)를 찾아가기 위해 기울기의 반대 방향으로 가중치를 조금씩 업데이트합니다:
풀이
1) 엉터리 모델의 정확도(Accuracy) 계산:
•
무조건 '정상'이라고 예측하면 정상인 90명은 모두 맞히고, 실제 환자 10명만 틀립니다.
•
따라서 정확도(Accuracy) = (맞힌 개수 90 / 전체 100) × 100 = 90%가 나옵니다!
2) 한계점과 정밀도·재현율의 필요성:
•
암 진단이나 금융 사기 탐지처럼 양성 데이터가 극소수인 불균형(Imbalanced) 문제에서는 환자를 단 한 명도 못 찾아내도 정확도가 90%로 높게 나오는 착시가 발생합니다.
•
따라서 모델이 양성이라고 예측한 것 중 실제 양성 비율인 정밀도(Precision = TP / (TP + FP))와, 실제 양성 환자 중 모델이 놓치지 않고 찾아낸 비율인 재현율(Recall = TP / (TP + FN)) 및 두 지표의 조화평균인 F1-Score로 모델을 평가해야 합니다.
3
과적합(Overfitting) 방지와 트랜스포머(Transformer) / LLM
•
과소적합(Underfitting) vs 과적합(Overfitting):
•
모델이 학습 데이터(기출문제)의 지엽적인 노이즈까지 달달 외워버려, 학습 데이터 점수는 100점인데 처음 보는 테스트 데이터(실전 시험)에서는 성능이 처참하게 떨어지는 현상을 과적합(Overfitting)이라 합니다.
•
해결책: 데이터를 Train / Validation / Test로 엄격히 분리하고, 가중치 규제(L1/L2 Regularization), 신경망 뉴런을 무작위로 끄며 학습하는 드롭아웃(Dropout), 조기 종료(Early Stopping), 데이터 증강(Data Augmentation)을 적용합니다.
•
현대 생성형 AI의 심장: 트랜스포머(Transformer)와 대규모 언어 모델(LLM):
•
과거의 순환신경망(RNN)은 문장의 단어를 앞에서부터 한 글자씩 순차적으로 읽어 병렬 처리가 불가능하고 앞부분 기억이 흐려지는 장기 의존성 문제가 있었습니다.
•
2017년 구글이 발표한 트랜스포머(Transformer)는 셀프 어텐션(Self-Attention) 메커니즘을 통해 문장 내 모든 토큰(단어 조각)들 사이의 문맥적 관련도를 행렬 연산으로 단번에 병렬 계산합니다. 이를 기반으로 다음 토큰의 확률을 예측하도록 초거대 규모로 사전 학습한 모델이 GPT, Claude, Gemini 같은 LLM(Large Language Model)입니다.
주의할 점
생성형 AI(LLM)의 '환각 현상(Hallucination)': LLM은 사실을 검색하는 데이터베이스가 아니라 '문맥상 다음에 올 가장 그럴듯한 확률의 단어(Token)'를 이어 붙이는 확률 모델입니다. 따라서 존재하지 않는 거짓 정보를 사실처럼 유창하게 지어낼 수 있으므로, 실무에서는 외부 신뢰 문서를 검색해 프롬프트에 주입하는 RAG(검색 증강 생성) 기술을 결합해 해결합니다.핵심 요약
- ✓머신러닝은 정답 유무와 학습 방식에 따라 지도학습(분류·회귀), 비지도학습(군집화·차원축소), 강화학습(보상 극대화)으로 나뉜다.
- ✓딥러닝 신경망은 손실 함수로 오차를 측정하고, 오차 역전파(Backpropagation)와 경사하강법으로 가중치를 최적화한다.
- ✓학습 데이터에만 지나치게 맞춰져 새로운 데이터에서 성능이 떨어지는 과적합(Overfitting)은 드롭아웃과 정규화로 방지한다.
- ✓트랜스포머(Transformer)의 셀프 어텐션(Self-Attention) 메커니즘은 문맥을 병렬로 파악하여 현대 LLM의 기반이 되었다.