HOPE : élagage de experts pour des MoE plus légers
Amazon présente HOPE, une méthode d'élagage du second ordre pour les modèles Mixture-of-Experts. Elle garde ensemble les experts qui coopèrent et annonce jusqu'à +6,1 % sur des tâches de code agentique à 50 % d'élagage.
