Sakana AI تدرّب شبكات بألف طبقة دون الانتشار العكسي

قدّم باحثون في Sakana AI طريقة Augmented Lagrangian Predictive Coding (PC-ALM)، وهي صيغة من الترميز التنبؤي (predictive coding, PC) تُبقي كل تحديث للأوزان محليًا داخل الطبقة، وتستعيد في الوقت نفسه إشارات إسناد متوافقة مع الانتشار العكسي (backpropagation). ويقول الفريق إنه درّب شبكات MLP متبقية تصل إلى 1000 طبقة على MNIST بفارق نحو نقطتين مئويتين عن الانتشار العكسي.

الفكرة

الانتشار العكسي خوارزمية شاملة: تمرير أمامي ثم تمرير خلفي ثم تحديث للأوزان، وكل خطوة تنتظر ما قبلها. ولا يُعرف في الدماغ آلية تنفّذ هذا التزامن على مستوى الشبكة كلها، ولهذا يستمر الاهتمام البحثي ببدائل التعلّم المحلي. يعامل PC كل تنشيط مخفي كمتغيّر تحسين ويعاقب الفرق بينه وبين التنبؤ الوارد من الطبقة الأدنى. لكن الإشراف يدخل عند الخرج فقط، وفي الشبكات العميقة الضيقة تتلاشى الإشارة قبل أن تصل إلى المدخل.

ينطلق PC-ALM من صياغة التدريب كمسألة مقيّدة، فيربط مضاعف لاغرانج بكل قيد طبقة مع الاحتفاظ بحدّ العقوبة في PC. ويتناوب الاستدلال خطوتين محليتين: خطوة تدرّج على التنشيطات، وخطوة ثانية تجمع خطأ التنبؤ في الطبقة. ويقرأ الفريق ذلك كمتحكّم PI لكل طبقة: خطأ التنبؤ هو الحد التناسبي والمضاعف هو الحد التكاملي. وعند تصفير المضاعف تعود الطريقة إلى PC تمامًا.

النتائج

في تجارب على Fashion-MNIST وMNIST بشبكات متبقية يتراوح عرضها وعمقها بين 8 و128، وبميزانية استدلال T = 2L، يطابق PC-ALM الانتشار العكسي عند كل عرض وعمق ودالة تنشيط (identity وtanh وReLU)، بينما يتراجع PC بحدّة في الخلايا العميقة الضيقة. وفي الخليّة المرجعية (عرض 32، عمق 32، ReLU، Fashion-MNIST) بلغت دقة الاختبار 78.66% للانتشار العكسي و68.13% لـ PC و77.75% لـ PC-ALM، مع ارتفاع تشابه جيب التدرّج من 0.604 إلى 0.909.

ويذكر الفريق أن PC-ALM يتفوق على PC في كل المقاييس المجرّبة، منها ResNet-18 على CIFAR-10 وTiny ImageNet. والطريقة أسلوب تدريب لا نموذجًا، ولم تُختبر حتى الآن إلا على مقاييس صور صغيرة. وتعمل نسخة مرجعية بلغة JAX برخصة MIT على المعالج المركزي وتعيد إنتاج نتائج الورقة. التفاصيل في تقرير MarkTechPost.