LexRO
Statistici lingvistice — Wikipedia în română · 1.000 articole · ro_core_news_lg
🔤Câte cuvinte diferite există în corpus?
101.121
Leme unice
Forma de bază a cuvântului — fără conjugări, plurale, cazuri. merge, mergi, mergem → merge. Acesta este numărul real de „cuvinte diferite".
120.088
Forme flexionare unice
Toate formele distincte ca text: carte, cărții, cărți, cărților contează separat. Cu ~19K mai multe decât lemele.
56.842
Hapax legomena
Cuvinte care apar o singură dată — 56% din vocabular. Normal pentru orice corpus: mii de nume proprii și termeni tehnici rari.
💡 Raportul forme / leme = 1,19 — fiecare cuvânt românesc apare în medie în 1,19 forme diferite în acest corpus. Această flexivitate relativ redusă se explică prin natura enciclopedică a textului (stil neutru, fără ficțiune bogată stilistic).
📊Diversitate lexicală
TTR (Type-Token Ratio)
0,0679
Raport tipuri/tokens. Scade natural cu textul mai lung — 6,79% e tipic pentru un corpus de 1,5M cuvinte.
MSTTR-1000
0,4656
TTR mediu pe ferestre de 1000 cuvinte — mai stabil. 0,47 indică diversitate lexicală medie-ridicată pentru un text enciclopedic.
MTLD
74,8
Măsoară câte cuvinte durează până TTR scade sub 0,72. Valori >70 = limbă variată. Texte literare: ~100-150.
Yule K
62,25
Concentrarea frecvențelor. Valori mici = vocabular distribuit egal. 62 e moderat — câteva cuvinte foarte frecvente dominau.
Honoré R
2631,78
Raport bazat pe hapax. Valori >2000 indică vocabular bogat și divers.
Brunet W
7,09
Indice de bogăție lexicală: W < 10 = vocabular bogat, > 20 = sărac. 7,09 = excelent.
📉Distribuție statistică
Panta Zipf
−1,147
Legea lui Zipf: al n-lea cuvânt ca frecvență apare de ~1/n ori față de primul. Panta ideală = −1,0. Valoarea −1,15 cu R²=0,963 confirmă că limba română urmează Zipf cu fidelitate ridicată.
R² Zipf
0,963
Entropie Shannon (leme)
11,34 biți
Incertitudinea medie per cuvânt în biți. 11,34 biți → 2¹¹·³⁴ ≈ 2580 leme „surpriză" la fiecare alegere. Reflectă bogăția vocabularului.
Legea Heaps: V(N) ≈
1,4 × N⁰·⁷⁹¹
Cât de repede crește vocabularul cu textul. β=0,79 (tipic 0,4–0,6 pt. engleză, mai mare pt. limbi flexionare) → vocabularul crește rapid, vocabularul nu e „saturat". R²=0,997.
Entropie bigrame
15,91 biți
Impredictibilitatea perechilor de cuvinte consecutive. Perplexitate model bigram: 61.774 — textul enciclopedic e impredictibil.
🔡Structura cuvântului
7,76
caractere/cuvânt (medie)
Silabe medii2,97
Vocale medii3,08
Consoane medii3,82
Ratio vocale/consoane0,807
Română are un ratio V/C ridicat față de engleză (~0,55) — limba sună mai vocalică.
📝Propoziții
~105K
propoziții estimate
Virgule/100 cuvinte9,71
Paranteze (perechi)50.582
Liniuțe (−/–/—)47.777
Ghilimele21.424
Parantezele extrem de frecvente (50K) sunt tipice stilului enciclopedic — date, date naștere, explicații.
📖Lizibilitate
−78,5
Flesch Reading Ease
Fog Index53,4
ARI31,8
Flesch negativ = text extrem de dificil (normal pt. enciclopedii). Fog >17 = text academic. ARI ~32 = necesită studii superioare. Wikipedia e scrisă pentru publicul educat.
🏷️Distribuție categorii gramaticale (POS)
| Categorie | Denumire | Tokens | % | Lung. medie |
|---|---|---|---|---|
| NOUN | Substantiv | 494.646 | 33,2% | 7,27 |
| PROPN | Nume propriu | 257.920 | 17,3% | 6,55 |
| ADP | Prepoziție | 211.084 | 14,2% | 2,59 |
| ADJ | Adjectiv | 159.499 | 10,7% | 7,57 |
| VERB | Verb | 72.040 | 4,8% | 7,39 |
| AUX | Verb auxiliar | 67.763 | 4,6% | 4,65 |
| DET | Determinant | 60.093 | 4,0% | 3,15 |
| CCONJ | Conj. coordon. | 48.952 | 3,3% | 2,12 |
| ADV | Adverb | 48.202 | 3,2% | 4,56 |
| PRON | Pronume | 32.630 | 2,2% | 3,43 |
| NUM | Numeral | 18.636 | 1,3% | 4,60 |
NOUN+PROPN = 50,5% — jumătate din corpus e substantive. ADP (prepoziții) la 14% e ridicat: tipic pentru română, limbă prepozițională. Verbele sunt subreprezentate (4,8%) față de text narativ (~10-15%) — stilul enciclopedic e nominal, nu verbal.
🌍Entități denumite (NER)
PERSON
125.156 ✦ cel mai frecvent
Persoane identificate în text
DATETIME
104.299
Date, ore, ani, perioade temporale
GPE
62.342
Geo-Political Entity: țări, orașe, regiuni
NAT_REL_POL
52.259
Naționalități, religii, grupuri politice
ORGANIZATION
31.752
Organizații, instituții, companii
NUMERIC_VALUE
26.091
Valori numerice în context
LOC
11.054
Locații geografice naturale (munți, râuri)
PRODUCT
10.992
Produse, opere, creații identificate
FACILITY
9.934
Clădiri, infrastructură, facilități
EVENT
3.306
Evenimente istorice, sportive etc.
LANGUAGE
2.797
Limbi identificate în text
WORK_OF_ART
2.417
Titluri de opere artistice
🔝Cele mai frecvente 20 leme
Cuvântul fotbalist în top 20 sugerează că multe din cele 1000 articole sunt biografii de fotbaliști — pattern tipic Wikipedia RO.
🔗Colocații cu PMI ridicat (perechi de cuvinte care apar împreună mai des decât întâmplător)
tudor arghezi13.6
johannes kepler13.4
vasile pârvan13.2
vasile alecsandri13.2
fuziune termonucleară13.3
zona antarctică13.3
centură kuiper13.8
țării românești13.2
petre antonescu12.9
chitară bas12.9
grigore brâncuș12.9
horia matei13.2
înclinare axială13.3
op cit13.6
PMI (Pointwise Mutual Information) = cât de mult co-apariția depășește șansa. PMI >13 = legătură extrem de puternică. Toate sunt fie nume proprii compuse, fie termeni tehnici specifici domeniului.
🔤Frecvența literelor (top 20)
i11,4%
e11,1%
a10,5%
r7,7%
n7,1%
t6,2%
l5,4%
o5,3%
u5,2%
c4,4%
s3,8%
d3,3%
m3,3%
p2,7%
ă1,9%
b1,4%
ș0,9%
ț0,9%
î0,7%
â0,5%
Entropie distribuție litere: 4,24 biți (max teoretic = log₂26 = 4,7 biți). i, e, a dominați cu ~33% din tot textul — română e o limbă vocalică.
🌐Împrumuturi și cuvinte speciale
Cuvinte cu litere rare (q,w,x,k,y)
61.574
Procent din total tokens
4,13%
Proxy pentru împrumuturi / nume proprii străine. Exemple detectate:
hendrix
debussy
nylon
weimar
kennedy
husky
gypsy
yokotani
khosrow
shunsuke
Densitate lexicală
0,52
52% din cuvinte sunt de conținut (substantive, verbe, adjective, adverbe). Texte enciclopedice: 0,45–0,55. Texte conversaționale: 0,35–0,40.
Ratio conținut/funcție
1,788
Pentru fiecare cuvânt de funcție (prepoziție, conjuncție) există ~1,8 cuvinte de conținut.
📘 Glosar — explicații complete ale indicilor
TTR — Type-Token Ratio
Raportul dintre numărul de cuvinte unice (tipuri) și numărul total de cuvinte (tokens). TTR = V/N. Problemă: scade invariabil pe măsură ce textul crește, deci nu e comparabil între corpusuri de mărimi diferite. Valoare aici: 0,0679.
MSTTR — Mean Segmental TTR
Soluție la problema TTR: textul se împarte în ferestre de 1000 cuvinte și se calculează TTR-ul mediu. Mult mai stabil și comparabil. Valoare: 0,4656 — fiecare fereastră de 1000 cuvinte conține ~466 cuvinte unice.
MTLD — Measure of Textual Lexical Diversity
Numărul mediu de cuvinte necesare pentru ca TTR-ul să scadă sub 0,72. Valori tipice: proză literară 80–120, texte academice 60–80, discurs conversațional 40–60. Valoare: 74,8 = text variat, mai aproape de proză decât de text tehnic arid.
Yule K
Măsoară concentrarea frecvențelor: cât de mult domină câteva cuvinte foarte frecvente. K mic = vocabular distribuit egal; K mare = câteva cuvinte domină. Valoare: 62,25 — moderată, de așteptat în prezența cuvintelor funcționale (de, și, în, fi).
Honoré R
R = 100 × log(V) / (1 − hapax/V). Valori >2000 indică vocabular bogat și divers. Valoare: 2631 — vocabular remarcabil de variat pentru un corpus enciclopedic.
Brunet W
W = N^(V^−0.172). Scala inversă față de alți indici: W mic = vocabular bogat. W < 10 = excelent, W > 20 = sărac. Valoare: 7,09 = vocabular bogat.
Hapax legomena
Cuvinte care apar exact o singură dată în corpus (din greacă: „spus o singură dată"). 56,21% din vocabular = hapax — proporție normală pentru orice corpus natural. Includ: termeni tehnici rari, variante ortografice, erori OCR, și mii de nume proprii unice.
Dis legomena
Cuvinte care apar exact de două ori. Număr: 15.248. Împreună cu hapax formează coada lungă a distribuției Zipf.
Legea Zipf
Empiric: frecvența unui cuvânt este proporțională cu 1/rangul său. Al doilea cuvânt apare de ~2× mai rar decât primul, al treilea de ~3× mai rar etc. Panta log-log ideală = −1,0. Valoare: −1,147 cu R²=0,963 — română urmează Zipf cu fidelitate înaltă, ușor mai abruptă decât engleза.
Entropie Shannon
H = −Σ p(x) log₂ p(x). Măsoară incertitudinea / varietatea informației. 11,34 biți per lemă → dacă ai alege aleator o lemă din corpus, ai nevoie de 11,34 biți de informație pentru a o identifica. Cu cât mai mare, cu atât vocabularul e mai echilibrat și impredictibil.
Legea Heaps (Herdan)
V(N) ≈ K × N^β — cum crește vocabularul cu textul. β tipic: 0,4–0,6 pt. engleză, mai mare pt. limbi flexionare. Valoare: β=0,791 — crescut, reflectă flexivitatea ridicată a limbii române și diversitatea subiectelor enciclopedice. R²=0,997 = fit aproape perfect.
PMI — Pointwise Mutual Information
PMI(w1,w2) = log₂[P(w1,w2) / (P(w1)×P(w2))]. Măsoară cât de mult co-apariția a două cuvinte depășește ce ar fi de așteptat prin șansă pură. PMI > 0 = asociere pozitivă; PMI ridicat (>10) = legătură extrem de puternică, specifică domeniului.
Flesch Reading Ease
206.835 − 1.015×(cuvinte/propoziție) − 84.6×(silabe/cuvânt). Scala 0–100: >70 ușor, 30–70 mediu, <30 dificil. Valoarea negativă (−78,5) e normală pentru texte enciclopedice cu propoziții lungi și vocabular tehnic — formula e calibrată pentru engleză și subestimează ușurința pentru română.
Densitate lexicală
Proporția cuvintelor de conținut (substantive, verbe, adjective, adverbe) din totalul cuvintelor. 0,52 = 52% conținut informațional, 48% cuvinte gramaticale. Valori mari = text dens, informativ; valori mici = text conversațional, fluid.
POS — Part of Speech
Categoria gramaticală a fiecărui cuvânt, atribuită automat de modelul spaCy ro_core_news_lg. NOUN=substantiv, PROPN=nume propriu, ADP=adpoziție/prepoziție, ADJ=adjectiv, VERB=verb, AUX=auxiliar, DET=determinant/articol, CCONJ=conjuncție coordonatoare, ADV=adverb, PRON=pronume, NUM=numeral.
NER — Named Entity Recognition
Identificarea și clasificarea automată a entităților denumite din text: persoane, locuri, organizații, date, etc. Realizată de același model spaCy. GPE = Geo-Political Entity (entitate geopolitică: țări, orașe, regiuni administrative).