← voidwest    research notes

طيب، تبغى تبني inference engine؟

2026-10-06 · GPT-2 small · حوالي 700 سطر Rust · 19 todo!() و17 اختبار

أكيد شفت ضجة الـinference الفترة هذي، وسألت نفسك: هذولا إيش يسوون بالضبط طول اليوم؟ جزء كبير من الشغل هذا يصير تحت، في مناجم الـsystems programming.

وأسرع طريقة أعرفها عشان تفهم هذا الشغل إنك تبني engine بنفسك. فأخذت أول نسخة من الـengine اللي أشتغل عليه، وقصيتها حتى ما بقى إلا الأساس، وبعدين شلت الأجزاء المهمة. وأنت اللي ترجعها.

باختصار

ember-mini مستودع تعليمي بـRust: inference engine لـGPT-2 في حوالي 700 سطر، و19 دالة فيه متروكة todo!(). كل وحدة محافظة على نفس الـsignature، وفيها تلميحات في التعليقات، و17 اختبار يقولون لك متى شغلك صح. الكود الكامل في فرع solution. وهو مو library، ومو معمول للـproduction.

إيش يعني inference engine؟

تعرف النماذج، وتعرف الأوزان، وأكيد تعرف الـtokens. بس بين ملف النموذج والـtokens اللي تقرأها فيه شغل كثير يصير، وهذا الشغل هو الـinference engine. وأساسه كله يدخل في كم سطر:

load weights
tokenize input
loop:
    run the transformer on the newest token
    get logits (one score for every token in the vocabulary)
    pick the next token
    append it

بالعربي البسيط: هو المكان اللي رياضيات النموذج تشتغل فيه فعلاً، وتتحول للمخرجات اللي كلنا نعرفها.

الـloop: النص The capital of France is يتحول لـtoken ids هي 464 و3139 و286 و4881 و318، ويشتغل عليها GPT-2، والـsoftmax يعطي احتمالات الـtoken الجاي. الـtoken اللي يفوز هو the بـ6.1%، وParis سادس بـ3.1%. وسهم يرجع الـtoken المختار للـids. الـloop: النص The capital of France is يتحول لـtoken ids هي 464 و3139 و286 و4881 و318، ويشتغل عليها GPT-2، والـsoftmax يعطي احتمالات الـtoken الجاي. الـtoken اللي يفوز هو the بـ6.1%، وParis سادس بـ3.1%. وسهم يرجع الـtoken المختار للـids.
أرقام حقيقية من ember-mini على GPT-2 small بأوزان Q8_0.

لـThe capital of France is، GPT-2 small يعطي " the" 6.1% و" Paris" 3.1% بس، يعني باريس في المركز السادس. والـgreedy decoding يختار " the" ويكتب "the capital of France, and it is the capital of France."

GPT-2 small مو ذكي، وهذا مو المقصود أصلاً. بس هو صغير لدرجة إنك تقدر تمسكه كله في راسك، وكل جزء من أي engine حديث موجود فيه أصلاً.

ليش تبنيه بنفسك؟

تقدر تقرأ عن الـtransformers قد ما تبغى، ولسه ما تحس كيف يشتغل من جوا. بس لو كتبت الـloop كله بنفسك، يصير عندك أجزاء واضحة تفككها وتتبعها خطوة خطوة. هذي أشياء ما فهمتها صح إلا بعد ما كتبته أول مرة:

إيش في المستودع؟

ember-mini هو أول engine سويته لـGPT-2، بس مقصوص عشان أنت تركبه من جديد. يغطي الأساسيات بس، وما فيه abstractions تستخبى وراها: كل عملية دالة عادية على slices من نوع f32، والـdependencies الوحيدة هي tokenizers وhalf.

كل دالة ناقصة محافظة على نفس الـsignature. والتعليقات تقول لك إيش تحسب وإيش اللي عادةً يخرب، بس ما تقول لك كيف تكتبه.

تمرين الـsoftmax في فرع main: الـsignature، وتلميحات في التعليقات تشرح المعادلة ومشكلة الـoverflow، وtodo!("softmax") مكان الكود. وجنبه الحل من فرع solution. تمرين الـsoftmax في فرع main: الـsignature، وتلميحات في التعليقات تشرح المعادلة ومشكلة الـoverflow، وtodo!("softmax") مكان الكود. وجنبه الحل من فرع solution.
وحدة من الـ19 في فرع main، وجنبها الحل.

فيه ست تمارين بالترتيب: الرياضيات، والبايتات لأرقام، والـKV cache، وقارئ الـGGUF، والـforward pass، وآخر شيء الـgeneration loop. وكل واحد له أمر اختبار خاص فيه.

قائمة بالست تمارين: ops.rs وquant.rs وkv_cache.rs وloader.rs وmodel.rs وmain.rs، وجنب كل واحد إيش يغطي وأمر اختباره، من cargo test ops إلى cargo run. قائمة بالست تمارين: ops.rs وquant.rs وkv_cache.rs وloader.rs وmodel.rs وmain.rs، وجنب كل واحد إيش يغطي وأمر اختباره، من cargo test ops إلى cargo run.

تبدأ من 0 من 17 اختبار ناجح، وتوقف لما GPT-2 يتكلم.

مقطعين من الـterminal. في فرع main، الأمر cargo test يطلع 0 passed و17 failed مع not yet implemented: dot. وبعد التمارين، الـ17 اختبار تنجح، والأمر cargo run يكمل The capital of France is بنص من GPT-2. مقطعين من الـterminal. في فرع main، الأمر cargo test يطلع 0 passed و17 failed مع not yet implemented: dot. وبعد التمارين، الـ17 اختبار تنجح، والأمر cargo run يكمل The capital of France is بنص من GPT-2.
مخرجات حقيقية: فرع main في البداية، وفرع solution.

إيش يخبي كل سطر في الـloop؟

تحميل الأوزان

ملف GGUF، صيغة llama.cpp، فيه أربع أجزاء: header، والـmetadata، والـtensor infos، وبعدها بيانات الـtensors. ملف GPT-2 فيه 1.7 MB من الـmetadata قبل أول وزن، لأن كل الـvocabulary اللي يستخدمه الـtokenizer ساكن هناك.

ترتيب ملف gpt2.Q8_0.gguf: header فيه version 3 و149 tensor و17 key، وmetadata مثل gpt2.block_count = 12، وtensor infos مثل blk.0.attn_qkv.weight بأبعاد [768, 2304]، و175.9 MB من بيانات الـtensors تبدأ من البايت 1,775,072. وتحت، block واحد من Q8_0: scale حجمه بايتين و32 قيمة كل وحدة بايت. ترتيب ملف gpt2.Q8_0.gguf: header فيه version 3 و149 tensor و17 key، وmetadata مثل gpt2.block_count = 12، وtensor infos مثل blk.0.attn_qkv.weight بأبعاد [768, 2304]، و175.9 MB من بيانات الـtensors تبدأ من البايت 1,775,072. وتحت، block واحد من Q8_0: scale حجمه بايتين و32 قيمة كل وحدة بايت.
قيم مقروءة من gpt2.Q8_0.gguf.

أماكن ممكن تنفجر فيك:

تشغيل الـtransformer

forward pass واحد: خذ صف الـtoken في الـtoken embedding، وزود عليه صف موقعه في الـposition embedding، وكذا يصير عندك 768 رقم. شغل 12 block من x = x + attention(norm(x)) وبعدها x = x + mlp(norm(x)). وفي الآخر norm أخير والـoutput layer يعطونك 50,257 logit. وفي ember-mini الـforward pass كله 51 سطر.

forward pass واحد: الـembedding يدخل الـresidual stream اللي اسمه x، ويمر على block فيه layernorm وattention وblock فيه layernorm وMLP، وكل واحد يزود نتيجته على x، وهذا يتكرر 12 مرة، وبعدها layernorm أخير والـoutput layer يعطون 50,257 score. forward pass واحد: الـembedding يدخل الـresidual stream اللي اسمه x، ويمر على block فيه layernorm وattention وblock فيه layernorm وMLP، وكل واحد يزود نتيجته على x، وهذا يتكرر 12 مرة، وبعدها layernorm أخير والـoutput layer يعطون 50,257 score.

الـlogits واختيار الـtoken الجاي

الـlogits الخام اللي يطلعها GPT-2 لهذا الـprompt كلها حوالي −100. وفي f32، exp(−100.7) يساوي 1.8e−44: رقم subnormal باقي فيه حوالي 4 بت دقة بس. وتحت −104، الـexp يرجع صفر بالضبط. يعني softmax عادي على GPT-2 خربان وهو ساكت. اطرح أكبر قيمة أول. والاتجاه الثاني يخرب كمان: exp(1000) يطلع لانهاية، ولانهاية على لانهاية تطلع NaN.

ember-mini يختار بـargmax: greedy decoding، بدون sampling وبدون temperature.

زود وكرر

بدون cache، كل token جديد يشغل النص كله من أوله، فـ6 tokens تكلف 21 مرور. ومع KV cache، النموذج يحفظ الـkey والـvalue لكل token مرة وحدة ويرجع يقرأها بعدين، فـ6 tokens تكلف 6 مرورات بس. ولـGPT-2 small على الـcontext كامل، يعني 1,024 token، الـcache حجمه 72 MiB.

شبكتين فيهم ست خطوات على tokens الجملة The capital of France is the. بدون cache، كل خطوة تشغل كل الـtokens حتى ذيك اللحظة: 21 مرور. ومع KV cache، كل خطوة تشغل الـtoken الجديد بس وتقرا الـkeys والـvalues القديمة: 6 مرورات. شبكتين فيهم ست خطوات على tokens الجملة The capital of France is the. بدون cache، كل خطوة تشغل كل الـtokens حتى ذيك اللحظة: 21 مرور. ومع KV cache، كل خطوة تشغل الـtoken الجديد بس وتقرا الـkeys والـvalues القديمة: 6 مرورات.

إيش تعلمت بالطريقة الصعبة

ember-mini يطلع حوالي 9 tokens في الثانية على thread واحد، لأن الـdot product فيه loop عادي بدون أي تسريع. الـengines الأسرع تصطدم بجدار ثاني: الذاكرة. الـdecode يقرأ كل وزن مرة لكل token، ويسوي عليه عمليتين ثلاث بس. Ember يشغل Llama-3.2-1B بـQ8_0 بحوالي 58 token في الثانية على الـCPU، يعني تقريباً 1.3 GB × 58 ≈ 75 GB/s من الأوزان تعدي من خلاله. وهنا السؤال ما يصير "كم سرعة الضرب عندي"، يصير "كم أقدر أنقل بايتات".

أشياء كثير خربت وأنا أبني Ember. هذي بعضها:

kernel أسرع خلى الـengine أبطأ. كتبت tile لـQ4_K بأربع أعمدة، كل تحميل activation فيه يخدم أربع أعمدة أوزان. في اختبار kernel على thread واحد كان أسرع بـ25–30%. بس في الـengine كامل على 4 threads، الـdecode نزل من 68.2 إلى 64.9 token في الثانية، فرفضته.

أكبر تحسين ما كان له دخل بالـkernel. عمليات الـmatrix-vector في الـK-quant كانت تشتغل على شجرة fork/join في Rayon، ومعاها الـefficiency cores، وفيه fork/join لكل projection. نقلتها لفريق صغير يسوي spin-wait على الـperformance cores، وبنفس الـkernel بالبت. Q4_K_M طلع من 61.4 إلى 68.2 token في الثانية على 4 threads، ومن حوالي 70 إلى حوالي 87 على 8.

تغييرين على decode الـQ4_K في Ember. المحاولة الأولى، tile بأربع أعمدة: أسرع بـ25 إلى 30% في اختبار kernel على thread واحد، بس الـengine كامل على 4 threads نزل من 68.2 إلى 64.9 token في الثانية، فانرفض. المحاولة الثانية، نفس الـkernel بجدولة أحسن: من 61.4 إلى 68.2 token في الثانية على 4 threads، ومن حوالي 70 إلى 87 على 8، ونزل. تغييرين على decode الـQ4_K في Ember. المحاولة الأولى، tile بأربع أعمدة: أسرع بـ25 إلى 30% في اختبار kernel على thread واحد، بس الـengine كامل على 4 threads نزل من 68.2 إلى 64.9 token في الثانية، فانرفض. المحاولة الثانية، نفس الـkernel بجدولة أحسن: من 61.4 إلى 68.2 token في الثانية على 4 threads، ومن حوالي 70 إلى 87 على 8، ونزل.
decode لـLlama-3.2-1B Q4_K_M على M1 Pro.

الـprefill والـdecode يبغون أشياء مختلفة. فريق الـspin-wait ممتاز للـdecode، لأنه مهام صغيرة كثيرة. ولما حطيت tiles الـprefill الكبيرة عليه، الـprefill صار أبطأ بـ15–25% على 8 threads مقارنة بالـwork stealing في Rayon.

ترتيب الأوزان في الذاكرة مو تفصيل. layout متداخل لأوزان الـMLP كان أسرع في كل اختبار لحاله. بس في الـprocess كامل خلى كل عملية أبطأ، حتى الـoutput layer اللي ما لمسها أصلاً. وما عرفت ليش حتى دحين، فما نزل.

مرجعك ممكن يكذب عليك. llama-bench يستخدم Metal افتراضياً. ومقارنتي "CPU مقابل CPU" كانت 112 مقابل 66 token في الثانية، حتى زودت -ngl 0.

واللابتوب كمان يكذب. مع الحمل العادي على الجهاز، تشغيلات الـ8 threads كانت تنزل 20–30% عشوائياً. ودحين كل مقارنة A/B تتناوب وتتكرر.

الصح والسريع مشكلتين منفصلة. Ember يوعد بإعادة تشغيل مطابقة بالبت، لأنه أداة بحث، فتغيير حرك الـsin والـcos في الـRoPE بـulp واحد انرجع، مع إن ما أحد يلاحظه في النص. وكودي لـGPT-2 في Ember يستخدم الـGELU الدقيق بـerf، وGPT-2 اتدرب على تقريب الـtanh. ember-mini يستخدم tanh، وبأوزان F32 يطابق llama.cpp token بـtoken لـ100 token على أربع prompts. ومع ملف Q8_0، llama.cpp يضغط الـactivations كمان لـ8 بت، والنص الـgreedy يبعد بعد كم token. نفس النموذج مو بالضرورة نفس الأرقام.

طيب فين وصل Ember؟ llama.cpp لسه متقدم على الـCPU. على Llama-3.2-1B وM1 Pro و4 threads بداية أكتوبر: 57.8 مقابل 65.8 token في الثانية بـQ8_0، و67.5 مقابل 88.6 بـQ4_K_M. سوي profile قبل ما تلمس أي شيء، وقيس الـengine كامل، ولا تثق في رقم قسته مرة وحدة. شوي بارانويا في القياس ما تضر.

فين تصير الأمور مخيفة

ember-mini نموذج واحد، وصيغة وحدة، وthread واحد. الـengines الحقيقية تكبر في كل اتجاه مرة وحدة:

Ember اليوم حوالي 140,000 سطر Rust، موزعة بين src/ والـcrate اللي اسمه ember-core. مو كله inference: فيه GUI وأدوات بحث وصوت كمان. وهنا الـloop التعليمي الصغير يتحول لسطور كثير من المعاناة، بمساعدة Claude.

جرب تبني النسخة الصغيرة

بناء engine يستاهل حتى لو ما نزلت واحد أبداً. يعطيك إحساس بأنظمة الـML ما تعطيك إياه الأوراق ولا الـlibraries اللي فوق: فين يروح الوقت، وفين تروح الذاكرة، وليش "نفس النموذج" ممكن يعطيك نص مختلف.

سوي clone لـember-mini، ونزل GPT-2 (الـREADME فيه الأمر والـchecksum)، وشغل cargo test ops.

لو سألت نفسك مرة إيش يصير بين ملف النموذج و"hello world"، جرب تبني النسخة الصغيرة مرة وحدة. ولو وصلت لهنا: شكراً إنك قرأت.

من فين جت الأرقام

ملاحظات لها علاقة في الموقع