함께 배우는 수업 · 영어

코퍼스 언어학: 빅데이터 텍스트와 빈도 분석

수억 어절 규모의 전산 말뭉치(Corpus)를 기반으로 어휘 다양도(TTR), 연어 결합 강도(MI Score vs t-score), KWIC 용례와 의미 운율(Semantic Prosody)을 계량 분석합니다.

이 수업에서 해 볼 일

코퍼스 규모와 문맥을 고려해 빈도 자료를 해석한다

먼저 알면 좋은 것: 기술통계학 및 가설검정(t-검정, 로그우도비) 기초 · 형태론 및 어휘론 기초(Token, Type, Lemma) · 자연어처리(NLP) 텍스트 정규화 개념

오늘의 목표

가입 없이 시작할 수 있어요. 설명을 읽고, 함께 연습한 뒤, 처음 보는 문제에서 직접 확인합니다.

판단 과정과 비교 사례

코퍼스 분석은 어떤 사람들의 어떤 텍스트를 모았는지부터 시작합니다. 빈도 수치는 자료의 규모·장르·시기·표집 기준과 함께 읽어야 합니다.50만 단어에서 50회와 200만 단어에서 100회라면 총횟수는 뒤가 많아도 백만 단어당 빈도는 앞이 높습니다. 크기가 다른 코퍼스는 정규화해 비교합니다.연어 지표가 높아도 실제 함께 나온 횟수가 적으면 불안정할 수 있습니다. 용례 문맥을 읽고 연구 질문에 대한 대표성을 확인한 뒤 해석 범위를 정하세요.

1. 코퍼스 언어학(Corpus Linguistics)의 패러다임과 핵심 계량 단위

전통적인 생성문법(Chomsky 학파)이 원어민 화자의 내재적 직관(Intuition)을 통해 문법성(Grammaticality)을 판단했다면, 코퍼스 언어학(Corpus Linguistics)은 실제 인간이 생산한 방대한 텍스트 빅데이터인 말뭉치(Corpus — 예: COCA, BNC, MICASE)를 컴퓨터로 분석하여 실제 언어 사용의 확률적 패턴과 빈도(Frequency)를 실증적으로 규명하는 학문입니다. 코퍼스 텍스트 계량 분석의 4대 기본 단위: 1. 토큰 (Token — 개별 어절 총수): 코퍼스 내에 등장하는 모든 단어의 총개수(중복 포함). 예: "To be or not to be"는 총 6 Tokens입니다. 2. 타입 (Type — 고유 어휘 수): 중복을 제거한 서로 다른 단어 형태의 개수. 위 예문(to, be, or, not)은 총 4 Types입니다. 3. 어휘 다양도 (TTR: Type-Token Ratio): 텍스트의 어휘적 풍부함을 나타내는 지표로

\text{TTR} = \frac{\text{Types}}{\text{Tokens}} \times 100(\%)

로 계산합니다. (단, 텍스트 길이

N

이 길어질수록 기능어 반복 때문에 TTR이 구조적으로 하락하므로, 대규모 코퍼스 비교 시에는 구간별 평균을 내는 STTR(Standardized TTR)이나 MATTR을 사용합니다.) 4. 렘마 (Lemma — 기본형/표제어) vs 워드폼 (Word Form): go, goes, went, gone, going은 5개의 서로 다른 Word Form이지만, 표제어화(Lemmatization)를 거치면 하나의 Lemma (GO)로 통합 집계됩니다.코퍼스 분석의 대원칙(Sinclair의 Idiom Principle): 언어 사용자는 단어를 하나씩 독립적으로 조합(Open-choice)하는 것이 아니라, 머릿속에 저장된 반(半)조립된 어휘 덩어리(Prefabricated Chunks / n-grams)를 불러와 발화합니다.

2. 연어 결합 강도 측정 통계량(MI Score vs t-score vs Log-Dice) 비교표

중심어(Node word) 좌우의 특정 탐색 범위(예: Window span $\pm 4$ words) 내에 공기(Co-occurrence)하는 연어(Collocate)를 추출할 때, 단순 빈도만 세면 the, of, to 같은 기능어만 상위에 랭크됩니다. 따라서 두 단어가 독립적으로 나타난다고 가정할 때의 기대 빈도( $E$ )와 실제 공기 빈도( $O$ )를 비교하는 연관성 지표를 사용합니다. 연관성 점수 자체를 통계적 유의성 검정으로 해석하지는 않습니다.

통계 지표	수식 원리 ( $O$ : 관측 빈도, $E$ : 기대 빈도)	통계적 특성 및 편향(Bias)	주로 추출되는 어휘 결합 유형 (활용 목적)
MI Score (상호정보량)	$\text{MI} = \log_2 \left( \frac{O}{E} \right)$	공기 빈도( $O$ )가 독립 출현으로 기대되는 빈도( $E$ )보다 얼마나 큰지 나타내는 결합 연관성 지표. 희귀한 쌍은 공기 횟수가 적어도 높은 점수를 얻을 수 있으므로 보편적인 유의 기준으로 단정하지 않음	연어 후보의 배타적 결합을 살필 때 사용하되, 실제 공기 횟수와 문맥을 함께 확인
t-score (t-점수)	$t = \frac{O - E}{\sqrt{O}}$	기대 빈도보다 높은 공기와 관측 빈도 규모를 함께 반영해 상대적으로 자주 나타나는 결합을 상위에 두는 경향. 2.0 같은 경계는 경험칙이지 보편적인 유의 기준이 아님	고빈도 문법적 연어(Colligation), 전치사·관사 결합, 일반 동사+명사 연어 (예: make a decision, depend on)
Log-Dice	$14 + \log_2 \left( \frac{2 O}{F_1 + F_2} \right)$	코퍼스 크기 자체가 식에 직접 들어가지 않는 결합 점수이며 최댓값은 14. MI나 t-score와 마찬가지로 점수만으로 후보의 교육적·어휘적 가치를 확정하지 않음	사전 편찬 등에서 연어 후보를 순위화할 때 쓰며, 코퍼스와 검색 설정에 맞춰 해석
Log-Likelihood ( $G^2$ , 로그우도비)	두 코퍼스 간 상대 빈도 비교	정규분포를 가정하지 않아 텍스트 규모가 다른 목적 코퍼스 vs 참조 코퍼스 비교에 최적	핵심어 분석(Keyword Analysis): 특정 장르·저자만의 고유 특징어 추출

MI와 t-score는 서로 다른 빈도 특성에 민감한 연관성 점수이지, 어휘 결합의 품질이나 통계적 유의성을 단독으로 판정하는 보편적 기준은 아닙니다. MI는 공기 횟수가 아주 적은 쌍에도 큰 값이 나올 수 있으므로 점수를 제시할 때 관측 공기 횟수와 검색 범위를 함께 보고, 실제 KWIC 문맥을 확인하세요. Church와 Hanks(1990)는 MI 상위 쌍에 낮은 공기 빈도 사례가 섞이는 문제를 논의합니다. [원 논문](https://aclanthology.org/J90-1003/).

3. KWIC 콘코던스(Concordance) 분석과 의미 운율(Semantic Prosody)

코퍼스 언어학에서 의미 운율(Semantic Prosody / Discourse Prosody)은 한 표현이 반복해서 함께 나타나는 어휘와 문맥에서 얻는 평가적·담화적 경향을 가리킵니다. 이는 모든 문맥에 강제되는 고정 의미나 문법 규칙이 아닙니다. KWIC (Key Word In Context — 검색어를 중앙에 정렬해 좌우 문맥을 나열한 용례 색인)를 살펴 경향과 예외, 장르·구문의 차이를 함께 확인합니다. 코퍼스에서 관찰되는 경향의 예: 1. set in (시작되다/발생하다): 일부 분석에서 rot, decay, infection, panic, despair 같은 부정적 사건·상태를 주어로 둔 용례가 자주 논의됩니다. 빈도나 비율을 말하려면 코퍼스, 검색 범위, 표본을 밝혀야 하며 모든 용례가 부정적이라고 단정하지 않습니다. 2. cause (유발하다): accident, damage, cancer, problem, distress처럼 부정적 결과를 나타내는 목적어와 자주 관찰되는 경향이 있습니다. 그렇다고 cause happiness가 문법적으로 불가능한 것은 아닙니다. 연구에서는 장르와 구문에 따라 경향이 달라질 수 있음을 보였습니다 ([Smith & Nordquist (2012)](https://doi.org/10.1075/jhp.13.2.05smi)). 의미가 맞는 긍정적 결과라면 cause도 쓸 수 있고, bring about, lead to, generate 역시 문맥에 따라 선택할 수 있습니다. 3. border on (~에 가까워지다): insanity, arrogance, obsession 같은 부정적인 극단을 가리키는 명사와 자주 쓰이지만, 이 용법만으로 모든 문맥의 평가를 결정할 수는 없습니다.코퍼스 분석 시 주의: 원시 빈도(Raw Frequency)만으로 크기가 서로 다른 두 코퍼스(예: 100만 단어 학습자 코퍼스 vs 1억 단어 원어민 코퍼스)를 절대 직접 비교해서는 안 됩니다! 반드시 '백만 단어당 정규화 빈도(Normalized Frequency per million words, pmw)'로 환산한 뒤 비교해야 합니다.

예제로 살펴보기

코퍼스 언어학의 연어(Collocation) 및 의미 분석에 관한 설명으로 가장 적절하지 않은 것은? ① 'Token'은 코퍼스에 출현한 총 어절 수를 의미하며, 중복을 제외한 고유 어휘 형태 수인 'Type'을 Token으로 나눈 값을 TTR이라 한다. ② 'MI(Mutual Information) score'는 관측 빈도가 매우 낮더라도 두 단어가 배타적으로만 함께 출현할 경우 매우 높게 산출되는 경향이 있다. ③ 의미 운율의 경향은 코퍼스와 장르가 달라도 예외가 없으며, 'cause happiness'는 문법적으로 불가능하다. ④ 규모가 서로 다른 두 말뭉치에서 특정 구문의 출현 빈도를 비교할 때는 정규화 빈도(Normalized Frequency)와 로그우도비(Log-Likelihood) 검정을 활용한다.

③ 의미 운율은 용례의 반복에서 관찰되는 경향이지, 모든 코퍼스·장르에 강제되는 문법 규칙이 아닙니다. cause는 부정적 결과와 자주 함께 관찰되지만 cause happiness도 문법적으로 가능합니다. corpus 연구는 cause의 평가적 경향이 구문·시대에 따라 달라질 수 있음을 보고합니다 ([Smith & Nordquist (2012)](https://doi.org/10.1075/jhp.13.2.05smi)). 실제 주장을 할 때는 특정 코퍼스의 공기 빈도와 KWIC 문맥을 제시해야 합니다. ①, ②, ④는 각각 토큰·타입·TTR, MI의 저빈도 편향, 규모가 다른 코퍼스의 비교 원리를 설명합니다.

확인: 코퍼스 언어학은 대규모 실제 언어 데이터(Corpus)를 전산 통계적으로 처리하여 어휘·통사·담화 패턴을 실증적으로 규명한다.

참고 근거와 확인 범위

English-Corpora.org · COCA overview (PDF) ↗
COCA의 구성과 빈도·연어 검색 방법

설명·예제·문제 구성 및 오류 수정 책임: 프리런. 위 자료는 표시한 주제를 확인하거나 더 읽기 위한 근거이며, 외부 기관의 공식 수업이나 감수본을 뜻하지 않습니다.

참고 자료 연결 점검: 2026-11-02. 제작 방식·검수 범위와 수정 기록에서 확인 범위를 볼 수 있습니다. 오류는 상단의 의견 보내기 또는 contact@freelearn.io로 알려 주세요.

이 단원의 개념서 읽기 →