← voidwest research notes

إشارة محلية لتكييف الصرف العربي باختيار الطبقات

ضوابط على hidden states مجمّدة قبل targeted LoRA
محمد الثبيتي · 2026-07-19
Arabic NLP morphology probing LoRA Qwen LLaMA

الملخص

سؤال المشروع بسيط: هل اختيار الطبقات من إشارة تمثيلية مرتبطة بالصرف يعطي أهداف تكييف أنفع من طبقات عشوائية مماثلة في عدد المعاملات؟ قبل استئجار GPU أو بناء backend للتدريب الحقيقي، سويت فحصاً محلياً أضيق: هل مجموعات الطبقات المرتبة على بيانات development تحمل إشارة POS عربية أقوى على اختبار held-out من مجموعات عشوائية بالحجم نفسه ومن دون تداخل؟

هذا التشغيل ما يختبر LoRA. هو يدرب ضوابط خطية deterministic على hidden states مجمّدة من Qwen3-0.6B وLlama-3.2-1B. نتيجة K=4 تكررت في النموذجين وتفوقت على الضوابط العشوائية الخمسة كلها. هذا يكفي لتبرير تجربة صغيرة بـtargeted LoRA، لكنه مو ادعاء تحديد سببي لمكان الصرف.

الحالة

الدليل هنا من خصائص مجمّدة فقط. هذه ليست نتيجة LoRA، وليست دليلاً على نجاح التكييف، وليست دليلاً على أن الصرف العربي متمركز سببياً في أربع طبقات.

ليش هذا السؤال مهم؟

الصرف العربي حالة اختبار مفيدة لأن بنيته غنية ولأن التعميم مهم. الصيغ قد تشترك في الجذر أو اللمّة أو النمط السطحي، ولذلك random split سهل ممكن يكافئ التداخل المعجمي بدل الإشارة الصرفية اللي نحاول نقيسها.

والتكييف على طبقات عشوائية مو baseline مفيد إذا ما كان مضبوطاً. تغيير عدد الطبقات أو الوحدات المستهدفة أو رتبة adapter أو البيانات أو ميزانية التدريب يغير السعة أو الحساب مع اختيار الطبقات. المقارنة هنا أضيق: طبقات مختارة من الإشارة التمثيلية مقابل طبقات عشوائية غير متقاطعة، وكل شيء ثاني ثابت.

الضابط المحلي ما يقدر يقول إن targeted LoRA راح ينجح. لكنه يقدر يقول إذا كان التدخل المقترح يحمل إشارة كافية تستحق تجربة تدريب حقيقية.

إعداد التجربة

النماذج: Qwen3-0.6B وLlama-3.2-1B.
المهمة: تصنيف POS من تمثيل الموضع الأخير في الـprompt ضمن hidden states مجمّدة.
البيانات: 1,416 مثالاً؛ تقسيم root-heldout ببذرة 17.
أحجام التقسيم: 991 تدريب، و213 تطوير، و212 اختبار held-out.
الاختيار: linear probes تتعلم من التدريب فقط، وترتيب الطبقات يعتمد على التطوير فقط.
الاختبار: للتقرير النهائي فقط؛ نتيجته ما دخلت في اختيار الطبقات.
أعداد الطبقات: K=1 وK=2 وK=4.
الضوابط العشوائية: خمس سحبات حتمية لكل K بعد استبعاد الطبقات المختارة هندسياً.

مسارات البيانات وSHA-256 checksums ومعرّفات التقسيم ومصدر الاختيار بقيت ثابتة. بيانات manifest المستقبلية لـLoRA تعلن أيضاً مجموعة q_proj/v_proj نفسها، والرتبة 8، وalpha بقيمة 16، وعدد معاملات adapter متساوياً داخل كل K.

هذه أسماء وحدات مستقبلية للمحافظة على تكافؤ الـmanifests. sklearn ما يلمس q_proj أو v_proj؛ هو يضم متجهات hidden states المجمّدة للطبقات المختارة ويدرّب مصنفاً خطياً. هذا اختبار لإشارة مجموعة الطبقات، مو حقن adapters.

النتائج الرئيسية

النموذج	K	دقة geometry-selected	متوسط العشوائي ± الانحراف	الفرق	مرات الفوز	المئين
Qwen3-0.6B	1	83.49%	84.91% ± 1.16	−1.42 pp	1/5	20th
Qwen3-0.6B	2	83.96%	82.83% ± 2.61	+1.13 pp	4/5	80th
Qwen3-0.6B	4	85.85%	81.79% ± 2.32	+4.06 pp	5/5	100th
Llama-3.2-1B	1	87.74%	85.09% ± 2.10	+2.64 pp	5/5	100th
Llama-3.2-1B	2	85.38%	85.28% ± 2.22	+0.09 pp	3/5	60th
Llama-3.2-1B	4	87.26%	84.53% ± 2.03	+2.74 pp	5/5	100th

رسم أعمدة يوضح أن دقة POS عند K=4 للطبقات المختارة هندسياً أعلى من متوسط خمس مجموعات عشوائية غير متقاطعة في Qwen3-0.6B وLlama-3.2-1B — دقة POS held-out عند K=4. الأعمدة العشوائية تعرض المتوسط ± الانحراف المعياري السكاني لخمس سحبات حتمية غير متقاطعة.

نتيجة K=4 موجبة في النموذجين، وفازت على الضوابط العشوائية الخمسة كلها في كليهما. تحسن macro-F1 بمقدار 4.70 نقطة في Qwen و3.15 نقطة في Llama. نتائج K=1 وK=2 مهمة أيضاً: Qwen عند K=1 ما تفوق على الضابط العشوائي، وLlama K=2 شبه محايد. النتيجة مو «الطبقات المختارة تفوز دائماً»؛ هي إشارة محلية متكررة عند K=4.

النتيجة حسب الفئة عند K=4

الجدول يعرض نتيجة الاختيار الهندسي ناقص متوسط الضوابط العشوائية على اختبار held-out.

النموذج	الفئة	فرق precision	فرق recall	فرق F1
Qwen	ADJ	+8.17 pp	+3.81 pp	+6.00 pp
Qwen	NOUN	−0.19 pp	+5.37 pp	+2.81 pp
Qwen	VERB	+8.71 pp	−0.56 pp	+5.29 pp
Llama	ADJ	+0.57 pp	+5.71 pp	+3.02 pp
Llama	NOUN	+1.76 pp	+2.54 pp	+2.21 pp
Llama	VERB	+6.37 pp	0.00 pp	+4.21 pp

أعمدة أفقية توضح فروق F1 موجبة عند K=4 لفئات ADJ وNOUN وVERB في Qwen3-0.6B وLlama-3.2-1B — فئات POS الثلاث تحسنت في F1 عند K=4. النتيجة الإجمالية مو أثر فئة NOUN ذات الأغلبية فقط.

كيف أفسر النتيجة؟

وش يدعم الدليل الحالي؟

مجموعات الطبقات الحساسة للصرف والمرتبة على التطوير ممكن تحمل إشارة POS held-out أقوى من مجموعات عشوائية مماثلة؛
اتجاه K=4 تكرر في Qwen3-0.6B وLlama-3.2-1B؛
المكسب عند K=4 مو محصوراً في فئة NOUN؛
الإشارة تكفي لتبرير تجربة صغيرة بـtargeted LoRA.

وش ما يدعمه إلى الآن؟

أن targeted LoRA ينجح؛
أن الطبقات المختارة تحدد موقع الصرف العربي سببياً؛
أن الأثر يعمم على الجنس أو العدد أو الجذر أو اللمّة أو الوزن أو الصيغ المصطنعة أو النماذج الأكبر أو معماريات ثانية؛
أن الهندسة التمثيلية ثابتة بين المعماريات بمعنى نظري قوي.

الخطوة التالية المجمّدة مسبقاً

التدخل الأول مجمّد مسبقاً: Qwen3-0.6B، ومهمة POS، وK=4، والطبقات المختارة 7, 8, 18, 20، وخمسة ضوابط عشوائية ثابتة وغير متقاطعة. كل تشغيل يستهدف q_proj/v_proj برتبة 8 وalpha بقيمة 16، وبالضبط 163,840 معامل adapter قابل للتدريب. الميزانية 200 خطوة optimizer.

المقياس الأساسي هو held-out POS macro-F1. النجاح يعني أن شرط الاختيار الهندسي يتجاوز المتوسط الحسابي للضوابط العشوائية الخمسة ويفوز بصرامة على ثلاثة منها على الأقل. الدقة وF1 لكل فئة تشخيصات ثانوية.

قبل التنفيذ لازم تتجمّد نسخة النموذج والـtokenizer، والـbackend، وأقصى طول للسياق، وحجم الدفعة وتجميع التدرجات، ومعدل التعلم، والـoptimizer، والـscheduler، والـwarmup، والـweight decay، والـdropout، والدقة العددية، ودورية التقييم، وسياسة حفظ الـcheckpoints. ما فيه early stopping في التجربة الأولية.

القيود

هذا دليل من خصائص مجمّدة فقط، وليس نتيجة LoRA؛
المهمة هي POS فقط؛
النماذج صغيرة فقط؛
خمس سحبات عشوائية تعطي توزيع ضابط محلي مفيد، مو عدم يقين استدلالي كامل؛
اختيار K=4 للتدخل المصرّح به مبني على إشارة محلية تكررت، مو إثبات أنه أفضل K عموماً؛
ضابط sklearn حتمي وما يمثل تباين التدريب؛
تحسين LoRA الحقيقي ممكن ما يتبع نمط الخصائص المجمّدة.

الخلاصة

هذه إشارة حياة محلية. مجموعات K=4 المرتبة على التطوير حملت إشارة POS held-out أقوى من خمس مجموعات عشوائية غير متقاطعة في نموذجين صغيرين، والتحسن ظهر في فئات POS الثلاث. هذا يبرر تجربة التدخل، لكنه ما يدّعي نجاح التكييف إلى الآن.