ΘΕΜΑ: Tokenization in Python

Πώς σε ένα κείμενο .txt ή οποιοδήποτε άλλο, μπορώ να κάνω tokenization?
Χρησιμοποιώ split αλλά δέχεται μόνο 1 delimiter. Σκέφτηκα να το κάνω επαναληπτικά με νέο delimiter κάθε φορά αλλά φοβάμαι ότι τα πολλά file I/O θα προσθέσουν σημαντική καθυστέρηση. Επομένως μήπως ξέρει κανείς πώς θα ξεπεράσω αυτό το πρόβλημα? Ίσως μια regular expression? εκτός βέβαια κι αν υπάρχει κάποιος έτοιμος tokenizer.
Ευχαριστώ....!!!!

Δες στις λύσεις της 1ης άσκησης, την ενότητα 3.3 στα στατιστικά εγγράφου.
Αν δεν σε καλύπτει, πες για περισσότερη ανάλυση.
Επίσης, φθάνει μια φορά να γραμμή από τον δίσκο. Στην συνέχεια κάνεις την επεξεργασία χωρίς να χρειαστεί να την ξαναδιαβάσεις και τότε προχωράς στην επόμενη.

Υπάρχει και το shlex ως εναλλακτική.