إطلاق نموذج Mini-AGI للتعلم المستمر على ذاكرة 8 جيجابايت
يقدّم مشروع mini-AGI نموذجًا لغويًا يتعلم باستمرار من البيانات التي يقرأها، مع تدريب كامل على بطاقة رسومية تملك ٨ جيجابايت من الذاكرة. يحتفظ النموذج بأوزانه على القرص ويحمّل الجزء الذي يحتاجه إلى البطاقة، لذلك يرتبط حجم المعلمات بالمساحة الحرة على القرص أكثر من ذاكرة البطاقة. ويعتمد على قراءة البيانات والتدريب والتوليد عبر المسار البرمجي نفسه، لكن المشروع يصفه حاليًا بأنه تجربة صغيرة بمستوى ألعاب ولا تزال أوزانه غير منشورة.
الحقائق الأساسية
يخزّن النموذج أوزانه على القرص ويحمّل مجموعة العمل المطلوبة إلى بطاقة الذاكرة، ما يسمح بتجاوز حدّ الذاكرة المتاحة على البطاقة.
«It stores its weights as ordinary files on disk and pages them onto the card as it needs them, so the parameter count is bounded by free disk space rather than by VRAM.»
عرض المصدر ←يستهدف المشروع جهاز كمبيوتر أو حاسوبًا محمولًا مزودًا ببطاقة رسومية لا تقل ذاكرتها عن ٨ جيجابايت.
«Targeted at a PC or laptop with at least an 8 GB VRAM GPU on the board.»
عرض المصدر ←الأوزان لم تُنشر بعد، وقد يستغرق التشغيل الحالي أسبوعين تقريبًا للوصول إلى نهاية المرور الأول على مجموعة البيانات.
«The weights are not published yet. The run is still reading its first pass over the corpus, the weights go up once it has been through all of it, which is a couple of weeks away at the current rate.»
عرض المصدر ←
المصادر
شفت معلومة تحتاج تصحيح؟ بلّغنا ونتحقق ونصحّح — سياسة التصحيح
صحّح هذا الخبر