# Πρόσθετο Σύστημα δημιουργίας λεκτικών μονάδων (Tokenizer plugin)

Πρόσθετα (Plugins) Σύστημα δημιουργίας λεκτικών μονάδων (Tokenizer)

## Εισαγωγή

Lucene Tokenizer
Πρόγραμμα κατάτμησης (Stemmer) Tokenizer

Οι Tokenizers (ή τα Προγράμματα κατάτμησης /Stemmers) βελτιώνουν την ποιότητα των αντιστοιχίσεων, αναγνωρίζοντας τις λέξεις που κλίνονται, στο κείμενο προέλευσης και στα δεδομένα της μεταφραστικής μνήμης. Βελτιώνουν, επίσης, και την αντιστοίχιση γλωσσαρίου

Ένα πρόιγραμμα κατάτμησης (stemmer) για τα Αγγλικά, π.χ., πρέπει να εντοπίζει την κωδικοσειρά "cats" (και, κατά δύναμη, "catlike", "catty" κλπ.) καθώς βασίζεται στη ρίζα "cat" και τα "stemmer", "stemming", "stemmed" καθώς βασίζονται στο "stem". Ένας αλγόριθμος κατάτμησης μειώνει τις λέξεις "fishing", "fished", "fish" και "fisher" στη ρίζα της λέξης, στο "fish". Αυτό είναι πολύ χρήσιμο στην περίπτωση γλωσσών που χρησιμοποιούν μορφές pre- και postfix για τις ρίζες των λέξεων. Ας δανειστούμε ένα παράδειγμα από τα Σλοβενικά, εδώ "καλός" σε όλες τις δυνατές γραμματικά ορθές μορφές:

- lep, lepa, lepo - ενικός, αρσενικό, θηλυκό, ουδέτερο

- lepši, lepša, lepše . - συγκριτικός, ονομαστική, αρσενικό, θηλυκό, ουδέτερο, resp. μορφή Πληθυντικού του επιθέτου

- najlepših - υπερθετικός, πληθυντικός, γενική για Α,Θ,Ο

## Εγκατάσταση και χρήση από γραμμή εντολών

Ένα πακέτο tokenizer που προσαρμόστηκε από το έργο Lucene, διανέμεται σαν πρόσθετο του OmegaT στο http://sourceforge.net/projects/omegat-plugins/files/. Κατεβάστε τα πιο πρόσφατα αρχεία (OmegaT-tokenizers_0.4_2-2.1.zip κατά τη στιγμή που γράφεται το παρόν).

Για την εγκατάσταση του tokenizer, δημιουργείστε έναν κατάλογο με το όνομα "πρόσθετα" μέσα στον κατάλογο όπου βρίσκεται το OmegaT.jar και αποσυμπιέστε αυτά τα αρχεία μέσα σε αυτό τον κατάλογο.

Για να λειτουργήσετε το OmegaT με τον tokenizer, πρέπει να ορίσετε ποιον tokenizer θα χρησιμοποιήσετε για την γλώσσα προέλευσης και ποιον tokenizer θα χρησιμοποιήσετε για την γλώσσα στόχο. Η σύνταξη είναι ως εξής:

`java -jar OmegaT.jar --ITokenizer=[source language tokenizer name] --ITokenizerTarget=[target language tokenizer name]`

Τα ονόματα για τον tokenizer προσφέρονται στο αρχείο Readme.txt που διανέμεται με τα αρχεία tokenizer. Για παράδειγμα, αν θέλετε να χρησιμοποιήσετε τον Lucene CJK tokenizer για την γλώσσα προέλευσης και τον Lucene French tokenizer για τη γλώσσα στόχο, η εντολή σας θα πρέπει να μοιάζει ως εξής:

`java -jar OmegaT.jar --ITokenizer=org.omegat.plugins.tokenizer.LuceneCJKTokenizer --ITokenizerTarget=org.omegat.plugins.tokenizer.LuceneFrenchTokenizer`

## Ιδιαιτερότητες του Mac OS X

If you wish to use the tokenizers with the Mac OS X OmegaT.app package, the tokenizer installation described above applies (right-click on OmegaT.app to find the location of OmegaT.jar), but you'll need to specify the tokenizer names in the `info.plist` that contains the Java launch options. Follow the instructions above to access the `info.plist` file and edit it so that it looks as follows for the example we just gave:

    <key>VMOptions</key>
    <string>-Xmx1024M</string>

    <key>Arguments</key>
    <array>
      <string>--ITokenizer=org.omegat.plugins.tokenizer.LuceneCJKTokenizer</string>
      <string>--ITokenizerTarget=org.omegat.plugins.tokenizer.LuceneFrenchTokenizer</string>
    </array>

## Troubleshooting

To make sure that the tokenizers are being used, open a project and check the log information from the console. With the example above it should look like that:

    84528: Info: Source tokenizer: org.omegat.plugins.tokenizer.LuceneCJKTokenizer
    84528: Info: Target tokenizer: org.omegat.plugins.tokenizer.LuceneFrenchTokenizer

The numbers on the left are likely to be different on your system so make sure that the source and target tokenizer names,specified in the start-up options, correspond to what the log is showing. If the tokenizers are not properly launched, the log will look like this:

    12719: Info: Source tokenizer: org.omegat.core.matching.Tokenizer
    12719: Info: Target tokenizer: org.omegat.core.matching.Tokenizer

With the Mac OS X OmegaT.app package, double-click on the `JavaApplicationStub` located in /OmegaT.app/Contents/MacOS/ (see above to access it) to launch OmegaT from the console and get immediate access to the log.