Merged in hotfix/fix-nltk-locaiton (pull request #366)

Hotfix/fix nltk locaiton

* remove incorrectly placed NLTK tokenizers

* fix NLTK location, only download english punkt

* update .gitignore to disallow all .tab files except english


Approved-by: Katon Minhas

fieldExtraction/.gitignore

@@ -73,12 +73,17 @@ texts/
 myenv/
 *.env
 *.txt
-!src/
-!src/nltk_data/
-!src/nltk_data/tokenizers/
-!src/nltk_data/tokenizers/punkt_tab/
-!src/nltk_data/tokenizers/punkt_tab/english/
-!src/nltk_data/tokenizers/punkt_tab/english/*.txt
+!nltk_data/
+!nltk_data/tokenizers/
+!nltk_data/tokenizers/punkt_tab/
+!nltk_data/tokenizers/punkt_tab/english/
+!nltk_data/tokenizers/punkt_tab/english/*.txt
+*.tab
+!nltk_data/
+!nltk_data/tokenizers/
+!nltk_data/tokenizers/punkt_tab/
+!nltk_data/tokenizers/punkt_tab/english/
+!nltk_data/tokenizers/punkt_tab/english/*.tab
 *.pdf
 !requirements.txt
 subset/

fieldExtraction/nltk_data/README.md

@@ -23,4 +23,4 @@ We version control NLTK data to:
 - Ensure consistent model versions across all environments
 - Remove network dependencies during deployment
 - Enable offline development
-- Avoid download steps after cloning
+- Avoid download steps after cloning

fieldExtraction/src/nltk_data/tokenizers/punkt_tab/czech/collocations.tab

@@ -1,96 +0,0 @@
-i	dejmala
-##number##	prosince
-h	steina
-##number##	listopadu
-a	dvořák
-v	klaus
-i	čnhl
-##number##	wladyslawowo
-##number##	letech
-a	jiráska
-a	dubček
-##number##	štrasburk
-##number##	juniorské
-##number##	století
-##number##	kola
-##number##	pád
-##number##	května
-##number##	týdne
-v	dlouhý
-k	design
-##number##	červenec
-i	ligy
-##number##	kolo
-z	svěrák
-##number##	mája
-##number##	šimková
-a	bělého
-a	bradáč
-##number##	ročníku
-##number##	dubna
-a	vivaldiho
-v	mečiara
-c	carrićre
-##number##	sjezd
-##number##	výroční
-##number##	kole
-##number##	narozenin
-k	maleevová
-i	čnfl
-##number##	pádě
-##number##	září
-##number##	výročí
-a	dvořáka
-h	g.
-##number##	ledna
-a	dvorský
-h	měsíc
-##number##	srpna
-##number##	tř.
-a	mozarta
-##number##	sudetoněmeckých
-o	sokolov
-k	škrach
-v	benda
-##number##	symfonie
-##number##	července
-x	šalda
-c	abrahama
-a	tichý
-##number##	místo
-k	bielecki
-v	havel
-##number##	etapu
-a	dubčeka
-i	liga
-##number##	světový
-v	klausem
-##number##	ženy
-##number##	létech
-##number##	minutě
-##number##	listopadem
-##number##	místě
-o	vlček
-k	peteraje
-i	sponzor
-##number##	června
-##number##	min.
-##number##	oprávněnou
-##number##	květnu
-##number##	aktu
-##number##	květnem
-##number##	října
-i	rynda
-##number##	února
-i	snfl
-a	mozart
-z	košler
-a	dvorskému
-v	marhoul
-v	mečiar
-##number##	ročník
-##number##	máje
-v	havla
-k	gott
-s	bacha
-##number##	ad

fieldExtraction/src/nltk_data/tokenizers/punkt_tab/danish/collocations.tab

@@ -1,101 +0,0 @@
-##number##	skak
-##number##	speedway
-##number##	rally
-##number##	april
-##number##	dm-fin
-##number##	viceformand
-m	jensen
-##number##	kano/kajak
-##number##	bowling
-##number##	dm-finale
-##number##	årh.
-##number##	januar
-##number##	august
-##number##	marathon
-##number##	kamp
-##number##	skihop
-##number##	etage
-##number##	tennis
-##number##	cykling
-e	andersen
-##number##	december
-g	h.
-##number##	neb
-##number##	sektion
-##number##	afd.
-##number##	klasse
-##number##	trampolin
-##number##	bordtennis
-##number##	formel
-##number##	århundredes
-##number##	dm-semifin
-##number##	heks
-##number##	taekwondo
-##number##	galop
-##number##	basketball
-##number##	dm
-m	skræl
-##number##	trav
-##number##	provins
-##number##	triathlon
-k	axel
-##number##	rugby
-s	h.
-##number##	klaverkoncert
-a	p.
-e	løgstrup
-k	telefax
-##number##	gyldendal
-##number##	fodbold
-e	rosenfeldt
-##number##	oktober
-k	o.
-##number##	september
-##number##	dec.
-##number##	juledag
-##number##	badminton
-##number##	sejlsport
-##number##	håndbold
-r	førsund
-e	jørgensen
-d	##number##
-k	e
-##number##	alp.ski
-##number##	judo
-##number##	roning
-##number##	november
-##number##	atletik
-##number##	århundrede
-##number##	ridning
-##number##	marts
-m	andersen
-d	roosevelt
-##number##	brydning
-s	kr.
-##number##	runde
-##number##	division
-##number##	sal
-##number##	boksning
-##number##	minut
-##number##	golf
-##number##	juni
-##number##	symfoni
-##number##	hurtigløb
-k	jørgensen
-##number##	jörgen
-##number##	klasses
-e	jacobsen
-k	jensen
-##number##	februar
-k	nielsen
-##number##	volleyball
-##number##	maj
-##number##	verdenskrig
-##number##	juli
-##number##	ishockey
-##number##	kunstskøjteløb
-b	jørgensen
-##number##	gymnastik
-##number##	svømning
-##number##	tw
-i	pedersens

fieldExtraction/src/nltk_data/tokenizers/punkt_tab/dutch/collocations.tab

@@ -1,37 +0,0 @@
-##number##	sotelo
-##number##	clas
-##number##	buckler
-##number##	carrera
-##number##	rmo
-##number##	orioli
-w	baron
-##number##	morales
-##number##	snotselelaank
-##number##	arcarons
-##number##	cavandoli
-##number##	pdm
-##number##	helvetia
-##number##	panasonic
-##number##	motorola
-w	bruinsma
-##number##	heer
-##number##	lotus
-##number##	banesto
-##number##	magnaldi
-w	jense
-w	heuvelmans
-w	spatje
-##number##	telekom
-f	kennedy
-##number##	gatorade
-##number##	mg-gb
-##number##	once
-##number##	peterhansel
-##number##	ariostea
-##number##	tvm
-##number##	höl
-##number##	castorama
-##number##	tulip
-b	situatie
-##number##	mas
-##number##	lotto

fieldExtraction/src/nltk_data/tokenizers/punkt_tab/estonian/collocations.tab

@@ -1,100 +0,0 @@
-##number##	juuni
-##number##	novembril
-##number##	juulilt
-r	järve-vomm
-##number##	mida
-n	liidu
-##number##	milliseid
-##number##	oktoobri
-##number##	iidol
-m	e
-##number##	klassist
-##number##	millest
-##number##	august
-##number##	pariis
-##number##	septembrist
-##number##	oktoober
-##number##	märtsini
-##number##	kust
-k	mägi
-##number##	detsembrist
-##number##	jaanuari
-##number##	epee
-##number##	nimetage
-##number##	novembrini
-##number##	eluaasta
-s	mill
-##number##	helsingi
-##number##	jaanuarini
-##number##	aastail
-##number##	augustil
-##number##	millise
-##number##	juulist
-##number##	mai
-##number##	novembri
-##number##	oktoobrist
-##number##	juunini
-##number##	septembriks
-##number##	detsembril
-p	s
-##number##	jaanuar
-##number##	aastate
-##number##	milline
-##number##	kelle
-##number##	jaanuaril
-s	stadnikov
-##number##	aastaks
-##number##	stockholm
-##number##	suurim
-##number##	aasta
-##number##	sajandi
-##number##	millega
-##number##	aastast
-##number##	aastal
-##number##	kumb
-##number##	septembril
-##number##	korruselt
-##number##	septembri
-##number##	veebruarini
-##number##	london
-##number##	aastatel
-##number##	september
-##number##	veebruari
-##number##	oktoobrini
-##number##	mail
-m	kassovitz
-##number##	action-film
-##number##	mis
-k	herkül
-n	n
-##number##	detsembrini
-##number##	imre
-t	jõgeda
-##number##	casino
-##number##	septembrit
-##number##	augustini
-##number##	juulil
-##number##	november
-##number##	kuupäeval
-##number##	taevas
-##number##	septembrini
-##number##	detsember
-##number##	detsembri
-##number##	juunil
-##number##	augustist
-n	jurist
-##number##	missugust
-##number##	aastatesse
-##number##	aprillil
-##number##	augusti
-##number##	oktoobril
-##number##	märtsil
-##number##	a
-##number##	the
-##number##	sajandil
-##number##	aastani
-##number##	juuli
-##number##	septembrile
-##number##	millist
-##number##	millised
-##number##	veebruaril

fieldExtraction/src/nltk_data/tokenizers/punkt_tab/finnish/collocations.tab

@@ -1,167 +0,0 @@
-##number##	sm
-##number##	ohjelmassa
-##number##	a3
-##number##	rc3
-##number##	rxd4
-##number##	hxg4
-o	stenberg
-##number##	lg5
-##number##	tallitontun
-##number##	lähetysohjeet
-##number##	uimakoulu
-##number##	jaana
-##number##	alustuksen
-##number##	uppo-nallen
-##number##	anne
-##number##	rxf3
-a	sjögren
-##number##	kamarikuoro
-##number##	vetäjänä
-##number##	pääsymaksu
-##number##	kerros
-##number##	kurssi
-##number##	kuori
-##number##	g4
-##number##	h3
-##number##	tiede-teatterissa
-##number##	kh2
-##number##	kausimaksu
-##number##	tia
-##number##	gxf5
-##number##	täky-galleria
-##number##	le2
-##number##	te8+
-##number##	la4
-##number##	keitä
-##number##	huhtikuuta
-##number##	menotiedoissa
-##number##	valmista
-##number##	txb5
-##number##	maskeerauskurssin
-##number##	rd2
-##number##	re2
-##number##	solisteina
-##number##	esitelmä
-##number##	puupiirrossarja
-##number##	ta1
-##number##	vaahdota
-##number##	h4
-##number##	kesäkuuta
-##number##	liikkeitä
-##number##	tuolloin
-##number##	viikko
-##number##	mittaa
-a	sjögrenin
-##number##	exf6
-##number##	rc6+
-##number##	viimeistele
-##number##	ld1
-##number##	elokuuta
-##number##	dh5+
-##number##	syyskuuta
-##number##	opettajina
-##number##	b3
-##number##	rauhankatu
-c	clarke
-##number##	saakka
-##number##	elokuvat
-b	huggins
-g	gahmberg
-##number##	luento
-##number##	lf3
-##number##	tammikuuta
-##number##	ryömä
-##number##	meller
-##number##	jäsenkortti
-##number##	esiintyjinä
-##number##	maria
-##number##	lf4
-##number##	siirto
-##number##	aurinko
-##number##	lxg6
-##number##	marraskuuta
-##number##	harjoituksissa
-##number##	romantika-yhtye
-##number##	g3
-##number##	heinäkuuta
-##number##	rxd5
-##number##	kuumenna
-e	hämäläisen
-##number##	bxc4
-##number##	te1
-##number##	kg2
-##number##	osallistumismaksu
-##number##	re5
-##number##	ohjelma
-##number##	varapuheenjohtajaksi
-##number##	raisa
-##number##	päivään
-##number##	luokan
-##number##	sulata
-##number##	levitä
-##number##	kaustinen
-##number##	kuoroa
-##number##	df3
-v	helsingistä
-##number##	mieskuoro
-##number##	lokakuuta
-##number##	kerho
-##number##	helmikuuta
-##number##	kokkola
-##number##	suuruusluokan
-v	kaupungista
-##number##	krs
-##number##	tekstit
-##number##	menyy
-##number##	rf3
-##number##	ulkoasiainministeriön
-##number##	kaada
-##number##	cxd5
-##number##	ilmailumuseo
-e	waris
-##number##	kierros
-##number##	tunnille
-##number##	kh3
-##number##	ohjaus
-a	t.
-##number##	postimaksu
-##number##	pane
-##number##	th3
-##number##	joulukuuta
-##number##	vatkaa
-##number##	kokeessa
-l	j.
-##number##	asti
-##number##	opastajana
-##number##	kirsi
-##number##	lc2
-##number##	lh2
-##number##	e4
-##number##	sairaankuljetukset
-##number##	sekoita
-##number##	mervi
-##number##	de2
-a	pietilän
-##number##	kf1
-##number##	toukokuuta
-##number##	maaliskuuta
-##number##	leikkaa
-##number##	ryhmänäytökset
-v	maaseudulta
-##number##	de3-e1
-##number##	c4
-##number##	ta1-b1
-##number##	d5
-##number##	pia
-##number##	lxd6
-##number##	d4
-##number##	f3-f4
-##number##	dxg6+
-##number##	sari
-##number##	pelkkään
-##number##	ld3
-##number##	perkaa
-##number##	lg3
-##number##	kg3
-##number##	kvm
-##number##	tb1xb6

fieldExtraction/src/nltk_data/tokenizers/punkt_tab/french/collocations.tab

@@ -1,18 +0,0 @@
-##number##	shinozuka-magne
-##number##	ambrosino-baumgartner
-c	tanvier
-f	b.
-##number##	waldegaard-fenouil
-##number##	fermé
-a	dechaume
-i	demongeot
-s	motos
-##number##	rahier
-##number##	magnaldi
-##number##	orioli
-f	tél.
-##number##	cowan-delferrier
-##number##	vatanen-berglund
-##number##	picco
-##number##	masuoka-oligo
-##number##	medardo

fieldExtraction/src/nltk_data/tokenizers/punkt_tab/german/collocations.tab

@@ -1,28 +0,0 @@
-##number##	oktober
-##number##	jahrhunderts
-##number##	geburtstag
-##number##	juni
-s	##number##
-##number##	september
-##number##	mai
-##number##	dezember
-##number##	april
-##number##	ahv-revision
-##number##	revision
-##number##	jahrhundert
-##number##	landwirtschaftsbericht
-##number##	altersjahr
-##number##	februar
-a	schumpeter
-##number##	freiheit
-##number##	august
-##number##	januar
-##number##	märz
-a	meyers
-##number##	november
-##number##	bauetappe
-##number##	ahv-
-##number##	eu-richtlinie
-##number##	juli
-a	meyer
-##number##	säule

fieldExtraction/src/nltk_data/tokenizers/punkt_tab/greek/collocations.tab

@@ -1,7 +0,0 @@
-β	δερτιλής
-##number##	φιλάρετος
-ο	gehry
-η	αβεε
-##number##	βλ.
-β	παπανδρέου
-σ	μ.

fieldExtraction/src/nltk_data/tokenizers/punkt_tab/italian/collocations.tab

@@ -1,6 +0,0 @@
-n	##number##
-s	pietro
-s	francisco
-c	wolf
-s	maria
-a	r.

fieldExtraction/src/nltk_data/tokenizers/punkt_tab/norwegian/collocations.tab

@@ -1,54 +0,0 @@
-m	skjærstad
-##number##	plass
-##number##	omgang
-##number##	oktober
-h	rowe
-##number##	juni
-##number##	september
-##number##	klasse
-##number##	mai
-##number##	april
-##number##	nyttårsdag
-d	hillgaar
-##number##	etasje
-c	sundts
-o	henrik
-a	himle
-a	robinson
-m	bjelland
-##number##	d.å.
-##number##	runden
-h	spang
-##number##	etappen
-##number##	mars-tog
-##number##	februar
-##number##	divisjonslaget
-##number##	minutt
-g	larsen
-##number##	divisjon
-##number##	januar
-##number##	august
-m	pedersen
-m	lillebø
-##number##	november
-h	reimers
-a	hoffman
-##number##	jubileumsår
-##number##	desember
-d	hagesæther
-##number##	divisjonsnivå
-##number##	omgangen
-n	kristiansen
-##number##	skaff
-##number##	divisjonslag
-a	pettersen
-##number##	divisjonskamper
-##number##	plassen
-##number##	juli
-c	sjaastad
-##number##	runde
-##number##	viseformann
-i	eliassen
-##number##	mars
-##number##	nurmis
-i	hagen

fieldExtraction/src/nltk_data/tokenizers/punkt_tab/polish/collocations.tab

@@ -1,57 +0,0 @@
-##number##	jedność
-##number##	strefę
-##number##	przywrócenie
-##number##	przyjmowane
-##number##	minucie
-##number##	funkcjonariuszowi
-##number##	podaj
-##number##	organ
-##number##	przedsiębiorca
-##number##	schematy
-##number##	konferencja
-##number##	likwidatorzy
-m	in
-##number##	wojewódzka
-##number##	organizację
-##number##	ilekroć
-##number##	członek
-##number##	przełożeni
-##number##	wydanie
-##number##	zaliczka
-c	wiatr
-##number##	kapitał
-##number##	instruktor
-##number##	ubezpieczenie
-##number##	rejestr
-##number##	ilu
-m	położ
-##number##	państwowa
-##number##	przyjrzyj
-##number##	ujawnienie
-##number##	rozpoznawanie
-##number##	wdrażanie
-##number##	min
-##number##	rocznicy
-##number##	osoba
-##number##	kociarz
-##number##	przewody
-##number##	przepis
-##number##	kompetencje
-##number##	zamawiający
-a	leppera
-##number##	edycji
-##number##	upoważnia
-##number##	naczelna
-##number##	patrz
-##number##	przepisu
-u	nr
-##number##	pułku
-##number##	ugodę
-##number##	minister
-##number##	poł.
-##number##	medytacja
-##number##	fundusz
-##number##	30godz
-w	n.e.
-##number##	producentem
-##number##	wysokość

fieldExtraction/src/nltk_data/tokenizers/punkt_tab/portuguese/collocations.tab

@@ -1,5 +0,0 @@
-t	jones
-##number##	loção
-b	justo
-d	luciano
-##number##	nov.1902

fieldExtraction/src/nltk_data/tokenizers/punkt_tab/russian/ortho_context.tab

@@ -1 +0,0 @@
-download	0

fieldExtraction/src/nltk_data/tokenizers/punkt_tab/slovene/collocations.tab

@@ -1,74 +0,0 @@
-##number##	novembra
-##number##	redne
-##number##	septembra
-a	plavevska
-k	zalival
-##number##	decembra
-##number##	uro
-##number##	uri
-v	gotovac
-##number##	členom
-s	broveta
-##number##	lanski
-##number##	členu
-a	novak
-i	borštnerja
-##number##	marca
-##number##	junijem
-##number##	iii.
-##number##	obletnico
-##number##	januarja
-l	d.
-i	španski
-e	ljubljana
-##number##	sati
-##number##	mura
-##number##	kongresu
-##number##	ure
-##number##	junija
-i	bavčar
-v	britanija
-##number##	feb.
-##number##	številki
-##number##	februarja
-##number##	junij
-##number##	oktobra
-##number##	športno
-k	b.
-##number##	majem
-##number##	člena
-i	p.
-z	l
-##number##	stoletju
-##number##	kongresa
-s	hribar
-s	p.
-##number##	iv
-i	b.
-##number##	maj
-##number##	armade
-##number##	marec
-##number##	član
-##number##	odstavka
-##number##	maja
-##number##	julij
-##number##	zkp
-##number##	odstavek
-##number##	točke
-##number##	stoletja
-a	puhar
-##number##	julija
-v	p.
-##number##	pivovarna
-##number##	čl.
-##number##	december
-##number##	stoletje
-##number##	kongres
-##number##	aprila
-i	razreda
-##number##	številko
-v	blažič
-##number##	##number##
-##number##	člen
-##number##	godine
-i	u

fieldExtraction/src/nltk_data/tokenizers/punkt_tab/spanish/collocations.tab

@@ -1,7 +0,0 @@
-##number##	dave
-v	s.
-##number##	minuto
-a	z.
-##number##	poemas
-a	valle
-u	d.

fieldExtraction/src/nltk_data/tokenizers/punkt_tab/swedish/collocations.tab

@@ -1,8 +0,0 @@
-##number##	uppgifter
-s	översättning
-j	r
-s	##number##
-##number##	rättens
-##number##	dragen
-r	broline
-##number##	civilförsvarspliktiga

fieldExtraction/src/nltk_data/tokenizers/punkt_tab/turkish/collocations.tab

@@ -1,14 +0,0 @@
-##number##	maddesinde
-##number##	maddesi
-##number##	paralelin
-##number##	madde
-##number##	maddesinin
-##number##	maddesiyle
-##number##	maddesine
-##number##	maddesindeki
-a	'yı
-##number##	maddesinden
-##number##	yüzyıl
-##number##	maddelerinde
-a	'nın
-##number##	dakikasında