Ovaj paket uključuje četiri ranije objavljena algoritma za svođenje reči na srpskom i hrvatskom na njihov osnovni oblik, reimplementirana u programskom jeziku Java: Pohlepni i optimalni stemer za srpski zasnovan na obuhvatanju sufiksa, autori Vlado Kešelj i Danko Šipka Dorada pomenutog pohlepnog stemera, autor Nikola Milošević "Jednostavan stemer za hrvatski v0.1", autori Nikola Ljubešić i Ivan Pandžić Svi stemeri očekuju da je ulazni tekst kodiran u UTF-8 formatu. Izlazni tekstovi su takođe kodirani kao UTF-8. Autor Vuk Batanović Dostupnost Paket i detaljna dokumentacija mogu se...

Ovde je opisana stara verzija alata čija je novija i unapređena varijanta trenutno dostupna u okviru NLP paketa, ali ne i u obliku veb servisa. Alat za automatsko označavanje na razini morfosintakse. Ima mogućnost označavanja hrvatskog i srpskog jezika, budući da sadrži modele za oba jezika. Označivač se temelji na algoritmu CRF (eng. conditional random forest) koji je treniran na ručno označenom korpusu hrvatskog jezika veličine 500.000 pojavnica u kombinaciji sa hrLex/srLex leksikonima za svaki od jezika. Skup morfosintaktičkih oznaka korištenih u korpusu...

Ovde je opisana stara verzija alata čija je novija i unapređena varijanta trenutno dostupna u okviru NLP paketa, ali ne i u obliku veb servisa. Alat za automatsku lematizaciju (svođenje površinskog oblika riječi na njen kanonski, odnosno rječnički oblik). Alat pretražuje leksikone hrLex/srLex, a za lematizaciju nepoznatih riječi koristi prediktivni model koji je treniran na dostupnim korpusima i leksikonima. Autori Nikola Ljubešić Dostupnost Lematizator je slobodno dostupan u tri oblika: Za lokalnu uporabu, programski kod i modeli alata mogu se preuzeti sa sljedećeg GitHub repozitorija. ...

hr500k je referentni trening korpus hrvatskih tekstova koji sadrži 900 dokumenata podijeljenih u 24 794 rečenice, ili 506 457 pojavnice. On predstavlja proširenje prethodnih označenih korpusa hrvatskog jezika, poput SETimes.HR i SETimes.HR+. Korpus je ručno označen na razinama: Segmentacije na pojavnice, rečenice, i dokumente Morfosintaktičke oznake Leme Ovisnosne sintakse Semantičkih uloga Imenovanih entiteta Cijeli korpus je označen na razininama leme i morfosintaktičke oznake. Skup morfosintaktičkih oznaka korištenih u korpusu u skladu je sa smjernicama revidiranog MULTEXT-East V5 skupa oznaka za hrvatski i srpski,...

hrLex je flektivni leksikon hrvatskog jezika. Veličina leksikona jest 164,206 lema, odnosno 6,427,709 površinskih oblika. Svaka natuknica u leksikonu sastoji se od osmorki u obliku (površinski oblik, lema, MSD, MSD odlike, UPOS, morfološke odlike, apsolutna frekvencija, frekvencija na milijun pojavnica). Frekvencije su procijenjene na temelju hrWaCa, hrvatskog mrežnog korpusa. Skup morfosintaktičkih oznaka korištenih u korpusu u skladu je sa smjernicama MULTEXT-East V6 skupa oznaka za srpsko-hrvatski makrojezik, a dostupan je ovdje. Autori Nikola Ljubešić Dostupnost hrLex se kao tekstualna datoteka za lokalnu uporabu može preuzeti ovdje. hrLexu se također može pristupiti,...

Alat za automatsku redijakritizaciju teksta kojem potencijalno nedostaju dijakritici (npr. transformira kuca u kuća ako je potrebno). Točnost alata jest 99.5% na standardnom jeziku i 99.2% na nestandardnom jeziku. Autori Nikola Ljubešić, Tomaž Erjavec, Darja Fišer Dostupnost Alat je slobodno dostupan u dva oblika: Za lokalnu uporabu, programski kod i modeli alata mogu se preuzeti sa sljedećeg GitHub repozitorija. Alatu i internetskom servisu može se pristupiti i preko naše programske knjižice za Python, koja se može preuzeti sa CLARIN.SI GitHub repozitorija. Upustva za instalaciju...