tokenization in Arabic embedding models

the claim

استخدام morph-aware tokenization في طبقة الـ embedding يرفع أداء مهام Arabic NLP بدون ما تحتاج تعيد تدريب النموذج.

بدل ما تستخدم كلمات سطحية أو BPE، استخدم tokens على مستوى الـ morpheme. المؤلفون جربوا هالشي على Word2Vec و BERT وقاسوا الأداء على NER و sentiment و POS tagging.

results

• مفردات أصغر بـ 60% — الـ tokenizer المورفيمي يفكك الكلمة لمكوناتها الأساسية بدل ما يتعامل مع كل شكل سطحي ككلمة مستقلة.
• تعامل أفضل مع الكلمات الجديدة — حتى لو الكلمة جديدة على النموذج، morphemesها معروفة ويقدر يمثلها بدون مشكلة.
• SOTA من دون إعادة تدريب — BERT المعدل وصل SOTA على datasets عربية وهو يستخدم نموذج pretrained مجمد بالكامل.

context

السر في النظام الصرفي العربي نفسه. عندك مجموعة صغيرة ومحدودة من الجذور والأوزان واللواصق — وكل الكلمات العربية تقريباً تتكون منها. الـ tokenizer المورفيمي يفكك الكلمة لهالمكونات الأساسية، فتنزل المفردات الفعلية من حوالي مليون شكل سطحي إلى 20K morpheme فقط. طبقة الـ embedding في النماذج الصغيرة تاخذ جزء كبير من الـ parameters، فتصغير جدول الـ embedding — مع الاحتفاظ بالتركيب الدلالي — يعطي مكاسب واضحة.