#!/bin/bash
IFS=$'\n';

#REMOVETHESE="gov|search|cid|aaa|bbb|ccc|ddd|eee|fff|ggg|hhh|iii|jjj|kkk|lll|mmm|nnn|ooo|ppp|qqq|rrr|sss|ttt|eee|fff|ggg|hhh|iii|jjj|kkk|lll|mmm|nnn|ooo|ppp|qqq|rrr|sss|ttt|uuu|vvv|www|xxx|yyy|zzz|org|wiki|png|jpg|thumb|pdf|ref|idx|php|html|json|abc|wmf|gif|jpg|images|svg|upload|ebi|cgi|commons|index|title|skins|static|action|commons"
#  egrep -v "($REMOVETHESE)" |

                                    #+ options to sort. Changed from




stop=$(perl -MAI::MicroStructure::WordBlacklist -E  "my \$s=AI::MicroStructure::WordBlacklist::getStopWords('de'); my @s = keys %\$s; print join('|',@s);")



function uniquemmasher(){

if [ -f "$1" ]
then                                #+ valid file argument.
cmd=cat
else
cmd=echo
fi



stop=$(perl -MAI::MicroStructure::WordBlacklist -E  "my \$s=AI::MicroStructure::WordBlacklist::getStopWords('de'); my @s = keys %\$s; print join('|',@s);")
IFS=$'\n';

$cmd $1 |   tr A-Z a-z |                # Convert to lowercase.
        tr ' ' '_' |             # New: change spaces to newlines.
       #tr -cd '\012[a-z][0-9]' |   #  Get rid of everything
                                    #+ non-alphanumeric (in orig. script).
        tr -c '\012a-z'  '\012' |   #  Rather than deleting non-alpha
        egrep -v '^#' |              # Delete lines starting with hashmark.
        egrep -v "^[ ]*([A-Za-z][A-Za-z]|[A-Za-z])$" | egrep -v "^$" | egrep -v -i "^ (denkbarer|ganze|bez|ver�ffentlichtes|uns�gliches|ungew�hnliche|vollstaendig|erstem|Inf.|titel|unsaeglichem|beforehand|denkbares|yours|contains|gedurft|seither|against|w�r|gefallen|wollten|gern|you|certain|haeufigere|viele|wants|meist|solcher|jemand|f�r|thru|c's|entgegen|welchen|ignored|bisheriger|dein|zeitweiser|abgerufener|jetzt|ain't|unzweifelhaftes|bisherigem|weitgehender|unsaegliche|derartiger|genau|mitunter|here|ausnahmsloses|through|eurem|we'll|tried|unbedingter|geben|klares|v�lligem|m�glicherweise|setzte|h�tten|eines|her|mancherorts|damaliges|jedenfalls|ausgenommenem|betreffenden|bessere|weiter|m�sste|ung|pl�tzliche|unmassgeblich|womit|solc|fand|versorgtes|erg�nzten|ganzem|augenscheinlichst|go|�usserste|sodass|h�ufig|nichtsdestoweniger|getragen|unless|drei|sattsam|accordingly|try|kommen|h�tte|sensible|ziemlichen|lest|bekannte|already|another|schreibe|ungewoehnliches|konnte|verrieten|probably|although|allemal|behielt|bed�rfen|ungewoehnlicher|irgendwie|insgesamt|ude|gleichstem|neuerdings|richtiggehend|aehnlichstes|neun|gleiches|ungleiche|jenes|betreffend|weil|which|unmoeglicher|einmalig|anderes|bearbeitete|perhaps|zu|ca.|wurde|you'll|wirklich|irgend|same|weitestgehend|become|nebenan|mal|immediate|muesste|jeglichem|name|vs|qv|you've|mostly|vom|betr�chtlichem|samt|voelliges|unma�geblichen|ever|bel|brief|meinetwegen|became|you'd|sein|dritte|can|aufgeh�rt|diese|zugleich|zero|aehnlichstem|hinter|using|entlang|let's|wolltest|immerw�hrender|unma�geblich|gro|ehestes|�brigens|being|outside|dar�ber|gewesen|couldn't|�u�erste|allgemeinstes|str|bin|vorheriger|brauchen|gestern|bisherigen|aeu�erstem|einerlei|wonder|darauf|gleichzeitigem|tag|lately|gratuliert|allerdings|ausserhalb|our|vermutlichen|drauf|kaeumlich|selves|cannot|here's|k�nnten|thank|beginnen|wirklicher|geb|ziemlich|your|hast|containing|irgendwer|hatte|it'll|letztens|consequently|immerw�hrendes|reichlicher|ausgenommener|diesseits|nutzt|gewisse|far|latter|erstes|eben|v�lliger|diesen|konkreter|both|vermutlichem|vermutlicher|naturgem�ss|concerning|does|letze|comes|offenkundigen|among|wieviele|never|einigermassen|immerwaehrender|happens|elsewhere|duo|o|ungew�hnliches|else|weitestgehender|allein|runter|wom�glichem|letztendlich|eigenen|du|besseres|massgebendem|freier|allem|restlosem|tragen|groesstenteils|specified|unsren|dann|neither|mehrmalig|letzterer|unterste|use|euch|k�nnt|often|yourself|ausdr�cklicher|believe|viz|haette|legen|anstatt|certainly|wish|hasn't|unto|jay|wachen|gaenzliches|j�hrig|ver�ffentlicher|schwerlichen|ren|nun|vieler|not|letztes|zweifelsfreies|versorgen|schwerliche|heutige|neuen|mehrmaliger|bearbeite|schreiber|angefangen|ab|zumeist|w|etliche|oft|ihren|�fters|nutzung|eins|auch|geehrt|h�ufige|g�nzlich|bist|uucp|folgend|einf�hrte|beiden|ungef�hr|she|tee|unerhoerten|hlt|bleiben|allenthalben|neues|betraechtliche|diesem|seiten|obviously|ziemliche|anywhere|q|einem|gesagt|keineswegs|over|particular|sooft|bestimmtes|unserem|einmaliges|�hnlichen|downwards|m�ssen|allgemeiner|andernfalls|uns�glichen|m�ssten|v|vergangen|derzeitiges|pl�tzlicher|bekennen|within|letzte|or|bearbeiteten|seems|einigem|k�nnte|gefiel|what|demselben|darueber|anerkannter|erhielt|ungleichen|einseitig|off|ob|�hnlichsten|ausgenommenen|just|new|tausend|schwerliches|gewissen|berichten|let|m�glichste|tun|abgerufenes|gratulierte|werde|considering|lagen|zieht|forth|yyy|ich|get|demnach|er�ffnet|hin|seinen|tats�chliches|gekonnt|demgemae�|ect.|soeben|please|its|weren't|likely|hereafter|beitragen|important|offensichtliches|da|seeming|later|described|came|richtiggehendem|daf�r|cause|indessen|weiterer|eigener|finden|teilte|he|denkbaren|max|solches|naturgem��|weshalb|gewollt|au�en|len|unseren|allgemeinem|tell|vollstaendiger|otherwise|massgeblichen|don't|damaligen|g|zur|sog|eigentlich|drei�ig|specify|fordert|ploetzliches|ihrem|bereits|unerh�rte|whither|waehrenddessen|denn|mainly|anscheinend|reasonably|halb|itself|ueber|neuem|were|kommt|gem�ss|total|ihre|immerw�hrend|hinterher|ca|ausgerechneten|under|derem|oh|bekanntlichen|erst|bekanntlich|gehabt|folgendes|im|maybe|konkrete|zuvieler|sorry|etlichem|eigentliches|zuletzt|aeusserster|art|hrl|h�tt|betr�chtlichen|zweifelsfrei|dunklen|solch|darfst|ausgerechnetem|mitten|ausdr�cklich|d�rfte|bspw|teile|weiteren|weiterem|version|beside|want|on|beispielsweise|normally|i've|heute|demgemaess|fortsetzen|gef�llt|m�glichen|vielleicht|aufgrund|mithin|des|gegenueber|aehnlichen|einmal|dank|onto|etwaige|she's|unterstes|augenscheinlich|serious|bekanntliches|we'd|�hnlichstes|bezueglich|euer|ones|anything|sicher|g�nzlichen|anr|think|moeglichst|vollstaendige|dahinter|have|startete|liked|app|dagegen|ausdr�ckliches|derzeit|wieder|nearly|dahingehendes|�hnliche|wenn|keeps|uns�gliche|allenfalls|ueberall|lll|whether|becoming|the|furthermore|she'd|gleichster|wolle|manchmal|appear|�brig|unmoegliche|him|betreffender|etc.|meta|vermag|da�|re|fuers|f�rs|vollstaendigem|very|little|euren|above|ueberaus|margin|befohlene|instead|folgendermassen|weitgehendes|mustn't|gewissem|t�t|gef�lligst|erg�nze|geehrter|koennte|ausdr�cken|seid|gr��tenteils|arbeiten|desungeachtet|dich|hinl�nglich|aeu�erstes|unstreitigen|anybody|beider|sonstwo|au�er|angesetzt|unserer|truly|anfangen|hardly|zweifelsfreien|unerh�rtem|empfunden|folgendem|where's|schliesslich|allgemeinstem|might|bi�chen|sondern|bearbeiten|uses|provides|anders|gepriesenes|asking|well|ought|vermutlich|gleichsten|voellig|after|moreover|betr�chtlicher|sei|weg|dahingehenden|whence|somewhere|eigentlichem|course|lesen|manchem|vielerlei|leider|koennen|only|teilen|awo|tatsaechlicher|gerade|meiner|folglich|available|nd|bringen|haeufigeres|drum|currently|okay|anderem|diejenigen|ausnahmslosen|denselben|konkreten|tatsaechliches|persoenlich|m�chtest|angesetzten|oberen|mancher|betr�chtliches|diesseitiger|unsaegliches|insgesamte|nutzen|vorbei|their|letzterem|durchaus|unbedingtes|k�umlich|bisherige|why|bekanntlicher|placed|beyond|vergangene|bezgl.|value|ober|unerhoerte|ppp|einen|bat|dort|geht|himself|durch|meiste|zufolge|rrr|andauernder|hatten|welcome|befragte|wom�glicher|noch|ganz|deinem|unma�gebliches|woran|hiesigen|entsprechender|sure|while|mitgleich|vergangener|l�ngstens|way|obi|deshalb|immerzu|herum|say|when|thence|doppelt|appropriate|keiner|jene|v�lliges|davor|umst�ndehalber|unserm|between|leicht|soda�|tries|ueberallhin|near|hingegen|jenen|war|beisammen|che|obgleich|daran|m��te|however|nnn|erhalten|ged|hierbei|unsagbaren|b|wer|augenscheinlichstem|voelliger|h�chst|findet|namely|magst|gleichstes|suchen|guten|men|vollst�ndiges|has|ueblicherweise|ersterer|damalige|�berdies|wolltet|sogar|gaenzlich|hof|vfr|gemacht|ungew�hnlichen|fall|entsprechend|m�chte|usw.|unser|jemals|more|h�chstens|ploetzliche|�usserster|none|solltest|zahlreicher|gekommen|andererseits|allows|konkretes|pfe|jaehrigem|tut|einerseits|direkter|irgendwo|seeing|unsagbare|dahingehende|�hnlichster|befiehlt|links|wenige|they're|gleichzeitiger|einseitiger|hei|ver�ffentlichten|lle|hiesiger|given|n�tzt|before|derselbe|schlichtweg|offenkundiges|unsen|ihr|beitrugen|taken|do|zuweilen|m�gliche|g�ngig|wichtig|theres|saying|gemeinhin|verrate|allesamt|gib|ungew�hnlich|niemanden|howbeit|ner|ausgerechnet|entsprechendes|steigen|mmt|befiehlte|daneben|those|inasmuch|brachte|zw�lf|persoenlicher|oftmals|g�nzlicher|besteht|anderer|m�glichster|ploetzlich|gleichsam|vollstaendigen|zweifelsfreie|erg�nzte|gemocht|falls|allerlei|d�rfen|ziehen|teilten|definitely|what's|unerhoerter|novel|anderen|noone|dr�ber|aaa|uuu|desto|legte|derartigen|gewiss|ehestem|causes|verriet|bestimmtem|ausgerechneter|dran|schwierig|most|reagiert|langsam|damit|bestimmte|thanks|across|m�gen|everybody|aren't|dem|eigenem|gegen|useful|hither|hereupon|ckl|habe|starteten|bei|welcher|massgebenden|used|few|versorge|ours|fte|wogegen|augenscheinlichem|ect|herein|got|jenseitigem|anyone|ckt|appreciate|sss|self|warst|tzt|bekannter|via|sect|massgebliche|selbstredend|pers�nlicher|but|mancherlei|unsere|solchen|like|ersterem|direkt|�u�erst|seinem|by|h�ufigere|unerh�rten|direkten|derart|beinahe|ggg|circa|fff|jeglicher|right|sollen|last|wom�gliches|diesseitig|vorueber|m�glichst|jaehrige|sollst|von|doesn't|abgerufene|rief|immerwaehrendes|unzweifelhafte|augenscheinlichstes|zirka|br�uchte|oefter|sonstigem|eee|various|ausdr�cklichem|voelligem|kann|gleichen|bedarf|weitere|aff|restlose|vorne|siebte|ohne|particularly|unterbrach|dennoch|ersten|unstreitiges|fortsetzten|ja|overall|per|deines|unerhoertes|it|betraechtlicher|selbstredender|zwanzig|heutiger|stellenweisem|angesetzter|eigen|dasselbe|dir|woraus|ins|everyone|along|no|waren|allgemein|anderweitiges|and|into|that's|geteilt|must|dieser|thats|benutzt|even|sonst|ihres|least|h|mvv|cke|now|senken|z.B.|did|whereupon|inzwischen|entsprechende|had|augenscheinlichen|iii|unmassgebliche|allgemeinen|alleine|away|didn't|igitt|begann|ferner|becomes|bis|untere|neu|insbesondere|befahl|sogleich|pers�nliches|there|demgegenueber|g�ngigen|unmoegliches|g�ngige|obersten|gaenzlicher|sch�tzt|since|nichts|machte|wobei|derer|dass|gleicher|unfortunately|hinlanglich|zusehends|towards|solche|sonstig|seitdem|siehe|gleichste|pl�tzliches|meanwhile|gehen|�fter|nine|ver�ffentlicht|alone|unbedingte|s�mtliche|then|especially|machen|usually|mussten|kleiner|andere|herself|sowohl|insgeheimer|spa|sometimes|said|jan|zuf|nimmer|j�hrigem|ihnen|�bermorgen|ver�ffentlichen|allm�hlich|selbstredendes|erh�lt|thoroughly|setzten|befohlens|jaehriges|heutigen|beh|mir|rkt|einige|pl�tzlich|unmassgeblichen|derjenige|f�nf|durfte|um|going|cks|different|welches|gewisserma�en|toward|damals|startet|neuerlicher|sch�tzen|abermals|nicht|almost|alle|know|mag|tr�gt|unsres|around|manch|einf�hrten|keep|quasi|ungew�hnlicher|bez.|wen|help|hat|wei|sowieso|gef|selbe|aeu�erste|sp�ter|somehow|so|ggf.|brachten|gmbh|h�ufiger|mit|selbstredenden|genug|abh|wenngleich|unsre|dorthin|regelm��ig|danken|welchem|mitwohl|ver|unerhoert|selben|regards|always|oder|whenever|a's|k�rzlichst|mochte|gottseidank|dieselbe|an|uns�glicher|naemlich|weitestgehendes|heutiges|�hnlicher|niemandem|bezgl|ausdr�cklichen|ihretwegen|usw|augenscheinlicher|denkbare|zur�ck|trotzdem|vollst�ndig|nen|ansetzen|vorherig|genommen|ungew�hnlichem|ourselves|diesseitigem|kuerzlichst|doch|schon|diesseitiges|nirgendwo|folgender|zoo|andauernden|quite|�ber|wie|ungleicher|diejenige|took|derzeitig|gew|wieviel|dadurch|ersteren|secondly|�berhaupt|reichlich|needs|geworden|ttt|wirkliches|paar|ziemliches|indeed|gie|thereupon|each|oefters|allzeit|weder|neckar|zun�chst|been|really|einmalige|demgem�ss|inc|vollst�ndigem|wirst|wom�gliche|kuenftig|rundheraus|http|again|trug|won't|unstreitigem|und|latterly|tats�chlichen|sagtest|demgegen�ber|bestehen|unmassgeblichem|went|restloser|es|drunter|nor|wut|geblieben|au�erdem|eures|ausserdem|verraten|sowie|allen|ausnahmsloser|anderweitiger|geteilte|jaehriger|v�lligen|ihk|ihrer|zuh|eigentlichen|jener|folgende|weitgehendem|laengst|beides|werden|davon|vielmals|schwerlich|bestimmt|stellenweisen|aside|durchwegs|g�ngiger|hinterm|un|selbstredendem|dieselben|wem|aehnliches|ueberhaupt|morgen|com|gab|third|einst|ten|ander|that|ueberdies|darf|ben|denkbar|except|hie|persoenliches|ihn|wasn't|mein|diesseitigen|�hnlichem|ehe|qqq|who|das|ppg|yes|j�hrigen|mehrfach|er�ffne|infolgedessen|me|about|gute|senkten|fordern|dahin|unerhoertem|wohl|waere|selbstredende|ebenfalls|knows|deren|versorgten|autor|doing|nehmen|they'll|seine|vri|d|weitestgehende|my|anyways|willing|obs|next|kannst|bekannt|meines|jenseitiger|corresponding|bloss|co|bietet|somewhat|muss|mittels|sst|opa|ganzer|manchen|someone|vollst�ndiger|morgige|gives|hinten|derartigem|denen|�hnlichste|massgebender|wiewohl|bestimmten|ganzes|bez�glich|whatever|nat|five|zeitweisem|jedem|berichtet|eigene|betreffende|sicherlich|zweifelsfreiem|eng|eigenes|�beraus|�hnlich|darueberhinaus|groe�tenteils|heraus|thorough|jeden|gepriesener|anderm|anderweitig|ungewoehnliche|daraus|wirklichem|stellenweise|nsa|letzten|contain|rer|derzeitigen|nach|nevertheless|presumably|somit|vollends|sollte|b�lde|m�glicher|zudem|andauerndem|macht|j�hriges|nie|he'll|besser|hello|wenigstens|t|keine|ums|seem|suv|noetigenfalls|ccc|wessen|manches|aehnlichem|ter|mittig|kam|vvv|kuerzlich|begonnen|ist|vor|derselben|eine|bestenfalls|one|wir|mindestens|k�nnen|blieb|schreibens|dazu|anderweitigen|richtiggehender|ger|anerkannt|ost|sehen|forderten|gleichzeitig|oberhalb|et|besonders|eure|que|massgeblichem|c|unterhalb|irgendeine|ler|massgeblich|immerw�hrende|ausdr�ckt|komme|offensichtlich|alsbald|mehrerer|big|einmaligen|seite|k�nftig|�usserst|darunter|weniger|ausgerechnetes|bitte|besseren|allow|befragten|gesehen|befragen|h�ufigeren|possible|stehen|meisten|m�chten|gets|ber|drin|cant|musst|derzeitige|three|air|zog|u|bisher|womoeglicher|zeitweisen|restlos|wohin|dar�berhinaus|nachher|etliches|sofort|wom�glichen|unstreitiger|actually|haeufigen|baelde|alles|edu|sind|shan't|than|tages|einzig|hinein|author|betraechtlichen|zun|danke|take|uns|nacht|ungewoehnlichen|x|weiterhin|insgeheime|neuerlichem|fortsetzt|hab|unse|mann|best|at|sieben|ser|�hnlichst|unterem|desselben|aus|looking|eigenst|die|dahingehendem|klar|irgendwas|many|too|vor�ber|braucht|nde|they'd|relatively|dazwischen|gleichem|offensichtlicher|rather|massgebend|ehester|y|unsrer|sehr|rde|stets|wenig|old|uns�glichem|unsagbares|moeglichstem|indicate|damaligem|l|eher|schwerlicher|meinem|mich|ausgenommen|e|any|until|ans|uns�glich|hen|n|richtiggehenden|liest|abo|hence|welche|naechste|zuviel|zahlreich|bzw.|allgemeines|m�glichsten|zum|nachrichtenportal|ziemlichem|massgebende|wodurch|whole|obwohl|insofar|senke|ansonsten|klaren|aehnlich|damaliger|zunaechst|i'd|bisschen|k|anderst|aehnlichster|infolge|soll|warum|who's|bsp|nahm|reagiere|allgemeinste|zb.|ebenso|wird|bbb|mache|trying|unsaeglichen|betraechtlichem|w�rde|it'd|wei�|nachdem|reichlichen|meins|danach|erstere|heutigem|getan|wieso|daher|anderweitige|miteinander|kkk|m�glich|gbr|diesseitige|apart|weitestgehenden|ask|umstaendehalber|allgemeine|gewisses|innerhalb|abgerufen|insofern|mehrmaligem|tust|w�re|klare|schnell|nowhere|lieber|dahingehend|sch�tzte|blo�|www|wofuer|uhr|er�ffnete|everywhere|pro|zzz|sent|gar|anyhow|be|h�ufigeres|zusammen|once|ausgerechnete|ersteres|gemaess|insgesamter|rke|mu�|g�nzlichem|ziemlicher|followed|immerw�hrendem|wom�glich|zwischen|unterster|wollen|aber|kein|nobody|sch|uebrig|according|voelligst|ungleich|rechts|could|bevor|zahlreichem|allg|eigentliche|augenscheinlichster|will|restloses|senkt|offenkundige|unzweifelhaften|reichliche|sollten|having|would|behalten|aeusserstem|�u�erstem|augenscheinliches|unma�geblicher|kaum|lie|his|bmw|abf|kleines|unm�glicher|mehrere|gleichwohl|offenkundigem|reichlichem|machst|eg|was|schlussendlich|jedesmal|hers|befragter|c'mon|neulich|frau|neuerliches|forderte|beide|there's|hmt|behind|amongst|gem|naturgemaess|jedoch|aehnlichsten|because|neben|fifth|where|unsem|selber|hattest|wann|wollt|k�nn|b�den|fortsetzte|unteres|bsp.|th|wegen|stiegen|them|reagierte|further|einseitigen|unzweifelhaft|getting|au�erhalb|koennt|wo|yet|wollte|h�ufigen|anfing|others|bekanntlichem|abermaliges|jaehrig|jenseitig|hne|zug|m�glichstem|deiner|shall|meistenteils|if|eheste|setzt|ddd|unstreitig|....|w�hrenddessen|tte|of|allgemeinsten|kept|wievieler|jenem|Dat|weitestgehendem|�usserstem|weiteres|as|muesst|zumal|sieht|unsaeglicher|dessenungeachtet|tat|lze|anw|offenkundig|einmaligem|tvf|denkbarem|isn't|persoenlichem|aehnliche|muessen|sonstiger|allg.|setzen|ckg|seht|freies|indicated|v�llige|necessary|fast|some|sang|beim|statt|down|meinen|s|aeu�erster|keines|txt|this|mehr|done|seriously|mcv|us|steigt|ehesten|unerh�rtes|rma|email|r|ok|hhh|bald|besserem|also|vier|etwa|tats�chlich|irgendjemand|she'll|moeglichsten|neuerliche|ltd|schreiben|andern|zurueck|tes|he's|first|should|nge|nothing|nau|eingesetzt|gleichzeitiges|meistens|sagt|nimmt|sap|steige|immer|gotten|gegeben|hoch|together|ungleichem|whereas|besserer|je|f|weitgehend|h�ufigerer|unsrem|erneut|irgendeiner|offensichtlichem|ungemein|womoegliches|tze|looks|ausnahmslosem|ergo|sich|during|verm�gen|uebrigens|indem|deswegen|gleichzeitigen|seiner|tends|haeufig|g�nzliches|m|ausnahmslose|regardless|when's|restlosen|unzweifelhaftem|frei|solchem|womoeglichen|einiges|therefore|zeitweise|anstelle|n�mlich|ausnahmslos|soviel|obschon|aeu�ersten|einstmals|from|berichteten|waehrend|keinerlei|soweit|findest|insgeheim|offenkundiger|hopefully|woher|rundum|how|zuviele|former|we|ausdr�ckliche|keinen|vorherige|keinem|oben|leer|zus|etc|changes|bestimmter|deine|rhein|anderweitigem|mehrmaliges|liegt|vollst�ndigen|sonstige|andauernde|�berallhin|willst|still|vieles|aller|w�ren|wherein|hier|associated|folgenden|bisheriges|unses|seven|jeglichen|unter|a|for|tatsaechlichen|euretwegen|says|ume|einfach|senkte|entirely|moeglichster|erste|einiger|ausgenommenes|rd|stieg|known|consider|v�lligst|jenseits|bspw.|etwas|unerh�rter|wof�r|merely|nirgends|formerly|offensichtliche|despite|unwichtig|voelligen|specifying|pers�nliche|saw|dorther|als|k�rzlich|haeufige|unseres|tatsaechlich|wohlweislich|richtiggehendes|llt|aufh�ren|recht|steht|ggf|worin|anerkannte|massgeblicher|shouldn't|unmassgebliches|wohlgemerkt|�ussersten|therein|irgendwann|neue|jedes|themselves|eva|immerwaehrende|immerwaehrendem|persoenliche|unbedingt|goes|hiesiges|wherever|clearly|bislang|lassen|such|sechs|jede|hrt|respectively|seit|we're|�u�erstes|ste|freie|p|geehrte|hallo|aufh�rte|without|andauernd|ausser|can't|plus|zuerst|vermutliche|schlechter|gibt|they've|you're|unerh�rt|bzw|irgendjemandem|versorgt|haeufiger|ihm|seltsamerweise|betreffendem|info|bef|to|ansonst|ern|betreffendes|solange|schlie�lich|l�ngst|dahingehender|unsagbarer|den|something|mu�t|irgendein|j�hrige|angesetze|vollstaendiges|unmoeglichem|eight|darin|er|unma�geblichem|seen|hiermit|erg�nzen|thereby|pfui|womoeglich|m��t|soon|offensichtlichen|hi|meine|haeufigem|need|vorherigem|less|enough|einseitige|�blicherweise|mean|sch�tzten|augenscheinlichste|�berall|immerwaehrenden|why's|sub|sangen|spielen|wiederum|several|with|stattdessen|whose|aehnlichste|anyway|tats�chlicher|oberste|jjj|whereby|gleiche|z|bedurfte|unm�glichen|how's|niemals|rund|neuer|konkret|sen|ausdr�ckte|man|either|etlichen|pur|womoeglichem|unstreitige|gl�cklicherweise|schlicht|manche|uni|schwerlichem|gen|entsprechendem|he'd|hadn't|whereafter|nichtsdestotrotz|fragte|�u�erster|nimm|w�rden|nachhinein|aeusserste|ploetzlicher|we've|richtiggehende|entsprechenden|hereby|sage|xxx|letztere|immerhin|may|allgemeinster|h�ufigem|einer|i'm|acht|weitgehenden|afterwards|sagten|dessen|zumindest|dabei|jederlei|deinen|ex|second|dies|aeu�erst|these|out|much|yourselves|six|durften|uebermorgen|voran|inward|sobald|own|partout|in|hiesigem|augenscheinlichsten|letztlich|unsagbarem|see|naturgemae�|below|ganzen|g�ngiges|they|kleinen|example|oberer|zB|whoever|entweder|gluecklicherweise|gestrige|w�hrend|einba�n|mittelst|beiderlei|ver�ffentlichte|utf|haeufigeren|aufzusuchen|mitnichten|sehrwohl|following|two|ungewoehnlichem|uft|andauerndes|massgebendes|er�ffnetes|letzteres|gewisser|ooo|exactly|sofern|sollt|unsaeglich|zogen|unmassgeblicher|t's|unmoeglichen|las|mmm|zwar|einf�hren|machten|thereafter|ein|v�llig|besides|melden|hattet|eigentlicher|derartig|fuer|derartige|is|ungleiches|sie|betraechtlich|�u�ersten|whom|vielmalig|aeusserst|gaenzlichen|somebody|g�nzliche|dannen|throughout|aeussersten|able|umso|upon|unten|ngt|darum|vergangenes|tsv|gratulieren|oberster|indicates|gaenzliche|sup|auf|daf|though|lag|der|�bel|erhielten|berichtete|look|vorgestern|gleich|inner|demgem��|hiesige|musste|unmoeglich|drueber|vermutliches|aeusserstes|klein|geh|better|derzeitigem|zehn|dieses|unsagbar|unma�gebliche|gone|follows|wohingegen|scheinbar|dinge|betr�chtliche|myself|seines|lichten|los|unn�tig|immerw�hrenden|anerkanntes|are|�usserstes|thanx|it's|seemed|mer|�hnlichstem|i'll|bekanntliche|four|allzu|other|einmaliger|zweifelsfreier|sehe|ohnedies|irgendeinem|nacher|viel|zwei|awfully|regarding|every|lte|up|werdet|del|beidem|weitgehende|eurer|nur|gebracht|rin|woraufhin|gr�sstenteils|hintern|unzweifelhafter|vollst�ndige|sagen|konnten|j|folgenderma�en|lediglich|pl�tzlichem|derjenigen|haeufigerer|singt|gaenzlichem|jaehrigen|hundert|thus|immerwaehrend|nat�rlich|unm�gliche|legten|wouldn't|gegen�ber|selbst|alt|womoegliche|versorgte|etlicher|unterbrechen|reagieren|niemand|trage|betraechtliches|arm|jeder|innen|ende|koennten|er�ffnen|betr�chtlich|voellige|n�chste|greetings|am|jegliches|ie|sometime|twice|ausgenommene|nein|laut|all|einig|irgendeines|vorher|�hnliches|erster|gleichzeitige|direkte|unm�glich|haben|neuerlich|haven't|theirs|wurden|aehnlicher|unlikely|spr|vielen|come|ungewoehnlich|gel|n�tigenfalls|sagte|pers�nlich|non|einigerma�en|einigen|durchweg|augenscheinliche|everything|irgendwen|moeglichste|dafuer|geehrten|i|ploetzlichem)$" > /tmp/micro-dict.tmp;


 stop=$(perl -MAI::MicroStructure::WordBlacklist -E  "my \$s=AI::MicroStructure::WordBlacklist::getStopWords('de'); my @s = keys %\$s; print join('|',@s);")

 cat /tmp/micro-dict.tmp | sort -n | egrep -v "^.*.[\ ].*.[1-9][\:][\ ][\ ]($stop)";


 #if [ !  "$(echo  "$stop" | egrep -i zzzzzzzzzzzz)" ]; then  echo cool; fi




}

function masher(){

if [ -f "$1" ]
then                                #+ valid file argument.
cmd=cat
else
cmd=echo
fi

$cmd $1 | tr A-Z a-z |                # Convert to lowercase.
        tr ' ' '\012' |             # New: change spaces to newlines.
   #    tr -cd '\012[a-z][0-9]' |   #  Get rid of everything
                                    #+ non-alphanumeric (in orig. script).
        tr -c '\012a-z'  '\012' |   #  Rather than deleting non-alpha
                                    #+ chars, change them to newlines.
        egrep -v '^#' |              # Delete lines starting with hashmark.
        egrep -v "^[ ]*([A-Za-z][A-Za-z]|[A-Za-z])$" |
        egrep -v '^$'




}


if [ "$2" == 1 ]                    #  Need at least one
then
uniquemmasher $*;
else
masher $*;
fi
exit 0