36. 코퍼스 언어학: 빅데이터 텍스트와 빈도 분석의 핵심 개념 요약은 무엇인가요?

수억 어절 규모의 전산 말뭉치(Corpus)를 기반으로 어휘 다양도(TTR), 연어 결합 강도(MI Score vs t-score), KWIC 용례와 의미 운율(Semantic Prosody)을 계량 분석합니다. 핵심 정리: 코퍼스 언어학은 대규모 실제 언어 데이터(Corpus)를 전산 통계적으로 처리하여 어휘·통사·담화 패턴을 실증적으로 규명한다. Token(총 어절 수), Type(고유 어휘 수), TTR(어휘 다양도), Lemma(기본 표제어)는 텍스트 계량 분석의 핵심 기초 단위이다. 연어 강도 지표 중 MI score는 배타적 결합 강도(전문 용어·관용구)에 민감하고, t-score는 높은 빈도에 기반한 문법적 결합 확신도에 민감하다. KWIC 콘코던스 분석으로 cause나 set in처럼 부정적 연어 경향이 논의되는 표현을 확인하되, 코퍼스·장르·구문과 실제 예외를 함께 살핀다.

개념 정리

글자

코퍼스 언어학: 빅데이터 텍스트와 빈도 분석

단원 개요

수억 어절 규모의 전산 말뭉치(Corpus)를 기반으로 어휘 다양도(TTR), 연어 결합 강도(MI Score vs t-score), KWIC 용례와 의미 운율(Semantic Prosody)을 계량 분석합니다.

선수 개념

필수 키워드:를 컴퓨터로 분석하여코퍼스 텍스트 계량 분석의 4대 기본 단위토큰 (Token — 개별 어절 총수)6 Tokens타입 (Type — 고유 어휘 수)4 TypesSTTR(Standardized TTR)MATTRLemma (GO)Node word

이 단원의 내용

1코퍼스 언어학(Corpus Linguistics)의 패러다임과 핵심 계량 단위 2연어 결합 강도 측정 통계량(MI Score vs t-score vs Log-Dice) 비교표 3KWIC 콘코던스(Concordance) 분석과 의미 운율(Semantic Prosody)

코퍼스 언어학(Corpus Linguistics)의 패러다임과 핵심 계량 단위

전통적인 생성문법(Chomsky 학파)이 원어민 화자의 내재적 직관(Intuition)을 통해 문법성(Grammaticality)을 판단했다면, 코퍼스 언어학(Corpus Linguistics)은 실제 인간이 생산한 방대한 텍스트 빅데이터인 말뭉치(Corpus — 예: COCA, BNC, MICASE)를 컴퓨터로 분석하여 실제 언어 사용의 확률적 패턴과 빈도(Frequency)를 실증적으로 규명하는 학문입니다.

코퍼스 텍스트 계량 분석의 4대 기본 단위:

토큰 (Token — 개별 어절 총수): 코퍼스 내에 등장하는 모든 단어의 총개수(중복 포함). 예: "To be or not to be"는 총 6 Tokens입니다.

타입 (Type — 고유 어휘 수): 중복을 제거한 서로 다른 단어 형태의 개수. 위 예문(to, be, or, not)은 총 4 Types입니다.

어휘 다양도 (TTR: Type-Token Ratio): 텍스트의 어휘적 풍부함을 나타내는 지표로

\text{TTR} = \frac{\text{Types}}{\text{Tokens}} \times 100(\%)

로 계산합니다. (단, 텍스트 길이

N

이 길어질수록 기능어 반복 때문에 TTR이 구조적으로 하락하므로, 대규모 코퍼스 비교 시에는 구간별 평균을 내는 STTR(Standardized TTR)이나 MATTR을 사용합니다.)

렘마 (Lemma — 기본형/표제어) vs 워드폼 (Word Form): go, goes, went, gone, going은 5개의 서로 다른 Word Form이지만, 표제어화(Lemmatization)를 거치면 하나의 Lemma (GO)로 통합 집계됩니다.

핵심 원리

코퍼스 분석의 대원칙(Sinclair의 Idiom Principle): 언어 사용자는 단어를 하나씩 독립적으로 조합(Open-choice)하는 것이 아니라, 머릿속에 저장된 반(半)조립된 어휘 덩어리(Prefabricated Chunks / n-grams)를 불러와 발화합니다.

연어 결합 강도 측정 통계량(MI Score vs t-score vs Log-Dice) 비교표

중심어(Node word) 좌우의 특정 탐색 범위(예: Window span $\pm 4$ words) 내에 공기(Co-occurrence)하는 연어(Collocate)를 추출할 때, 단순 빈도만 세면 the, of, to 같은 기능어만 상위에 랭크됩니다. 따라서 두 단어가 독립적으로 나타난다고 가정할 때의 기대 빈도( $E$ )와 실제 공기 빈도( $O$ )를 비교하는 연관성 지표를 사용합니다. 연관성 점수 자체를 통계적 유의성 검정으로 해석하지는 않습니다.

통계 지표	수식 원리 ( $O$ : 관측 빈도, $E$ : 기대 빈도)	통계적 특성 및 편향(Bias)	주로 추출되는 어휘 결합 유형 (활용 목적)
MI Score (상호정보량)	$\text{MI} = \log_2 \left( \frac{O}{E} \right)$	공기 빈도( $O$ )가 독립 출현으로 기대되는 빈도( $E$ )보다 얼마나 큰지 나타내는 결합 연관성 지표. 희귀한 쌍은 공기 횟수가 적어도 높은 점수를 얻을 수 있으므로 보편적인 유의 기준으로 단정하지 않음	연어 후보의 배타적 결합을 살필 때 사용하되, 실제 공기 횟수와 문맥을 함께 확인
t-score (t-점수)	$t = \frac{O - E}{\sqrt{O}}$	기대 빈도보다 높은 공기와 관측 빈도 규모를 함께 반영해 상대적으로 자주 나타나는 결합을 상위에 두는 경향. 2.0 같은 경계는 경험칙이지 보편적인 유의 기준이 아님	고빈도 문법적 연어(Colligation), 전치사·관사 결합, 일반 동사+명사 연어 (예: make a decision, depend on)
Log-Dice	$14 + \log_2 \left( \frac{2 O}{F_1 + F_2} \right)$	코퍼스 크기 자체가 식에 직접 들어가지 않는 결합 점수이며 최댓값은 14. MI나 t-score와 마찬가지로 점수만으로 후보의 교육적·어휘적 가치를 확정하지 않음	사전 편찬 등에서 연어 후보를 순위화할 때 쓰며, 코퍼스와 검색 설정에 맞춰 해석
Log-Likelihood ( $G^2$ , 로그우도비)	두 코퍼스 간 상대 빈도 비교	정규분포를 가정하지 않아 텍스트 규모가 다른 목적 코퍼스 vs 참조 코퍼스 비교에 최적	핵심어 분석(Keyword Analysis): 특정 장르·저자만의 고유 특징어 추출

학습 도움말

MI와 t-score는 서로 다른 빈도 특성에 민감한 연관성 점수이지, 어휘 결합의 품질이나 통계적 유의성을 단독으로 판정하는 보편적 기준은 아닙니다. MI는 공기 횟수가 아주 적은 쌍에도 큰 값이 나올 수 있으므로 점수를 제시할 때 관측 공기 횟수와 검색 범위를 함께 보고, 실제 KWIC 문맥을 확인하세요. Church와 Hanks(1990)는 MI 상위 쌍에 낮은 공기 빈도 사례가 섞이는 문제를 논의합니다. [원 논문](https://aclanthology.org/J90-1003/).

KWIC 콘코던스(Concordance) 분석과 의미 운율(Semantic Prosody)

코퍼스 언어학에서 의미 운율(Semantic Prosody / Discourse Prosody)은 한 표현이 반복해서 함께 나타나는 어휘와 문맥에서 얻는 평가적·담화적 경향을 가리킵니다. 이는 모든 문맥에 강제되는 고정 의미나 문법 규칙이 아닙니다. KWIC (Key Word In Context — 검색어를 중앙에 정렬해 좌우 문맥을 나열한 용례 색인)를 살펴 경향과 예외, 장르·구문의 차이를 함께 확인합니다.

코퍼스에서 관찰되는 경향의 예:

set in (시작되다/발생하다): 일부 분석에서 rot, decay, infection, panic, despair 같은 부정적 사건·상태를 주어로 둔 용례가 자주 논의됩니다. 빈도나 비율을 말하려면 코퍼스, 검색 범위, 표본을 밝혀야 하며 모든 용례가 부정적이라고 단정하지 않습니다.

cause (유발하다): accident, damage, cancer, problem, distress처럼 부정적 결과를 나타내는 목적어와 자주 관찰되는 경향이 있습니다. 그렇다고 cause happiness가 문법적으로 불가능한 것은 아닙니다. 연구에서는 장르와 구문에 따라 경향이 달라질 수 있음을 보였습니다 ([Smith & Nordquist (2012)](https://doi.org/10.1075/jhp.13.2.05smi)). 의미가 맞는 긍정적 결과라면 cause도 쓸 수 있고, bring about, lead to, generate 역시 문맥에 따라 선택할 수 있습니다.

border on (~에 가까워지다): insanity, arrogance, obsession 같은 부정적인 극단을 가리키는 명사와 자주 쓰이지만, 이 용법만으로 모든 문맥의 평가를 결정할 수는 없습니다.

주의할 점

코퍼스 분석 시 주의: 원시 빈도(Raw Frequency)만으로 크기가 서로 다른 두 코퍼스(예: 100만 단어 학습자 코퍼스 vs 1억 단어 원어민 코퍼스)를 절대 직접 비교해서는 안 됩니다! 반드시 '백만 단어당 정규화 빈도(Normalized Frequency per million words, pmw)'로 환산한 뒤 비교해야 합니다.

풀이

③

의미 운율은 용례의 반복에서 관찰되는 경향이지, 모든 코퍼스·장르에 강제되는 문법 규칙이 아닙니다. cause는 부정적 결과와 자주 함께 관찰되지만 cause happiness도 문법적으로 가능합니다. corpus 연구는 cause의 평가적 경향이 구문·시대에 따라 달라질 수 있음을 보고합니다 ([Smith & Nordquist (2012)](https://doi.org/10.1075/jhp.13.2.05smi)). 실제 주장을 할 때는 특정 코퍼스의 공기 빈도와 KWIC 문맥을 제시해야 합니다. ①, ②, ④는 각각 토큰·타입·TTR, MI의 저빈도 편향, 규모가 다른 코퍼스의 비교 원리를 설명합니다.

핵심 요약

✓
코퍼스 언어학은 대규모 실제 언어 데이터(Corpus)를 전산 통계적으로 처리하여 어휘·통사·담화 패턴을 실증적으로 규명한다.
✓
Token(총 어절 수), Type(고유 어휘 수), TTR(어휘 다양도), Lemma(기본 표제어)는 텍스트 계량 분석의 핵심 기초 단위이다.
✓
연어 강도 지표 중 MI score는 배타적 결합 강도(전문 용어·관용구)에 민감하고, t-score는 높은 빈도에 기반한 문법적 결합 확신도에 민감하다.
✓
KWIC 콘코던스 분석으로 cause나 set in처럼 부정적 연어 경향이 논의되는 표현을 확인하되, 코퍼스·장르·구문과 실제 예외를 함께 살핀다.

코퍼스 언어학: 빅데이터 텍스트와 빈도 분석

코퍼스 언어학(Corpus Linguistics)의 패러다임과 핵심 계량 단위

연어 결합 강도 측정 통계량(MI Score vs t-score vs Log-Dice) 비교표

KWIC 콘코던스(Concordance) 분석과 의미 운율(Semantic Prosody)

핵심 요약

설명 다음에는 직접 풀어 보세요

36. 코퍼스 언어학: 빅데이터 텍스트와 빈도 분석 단원 연습 문제

참고 근거와 확인 범위