Ushbu mustaqil ish katta uzunlikdagi buyruq so'zlarini tokenizatsiya qilish, morfologik tahlil va lemmatizatsiya, hamda ularni normalizatsiya va standartlashtirish jarayonlarini o'rganadi. Bu tabiiy tilni qayta ishlashda muhim qadamdir