Scaling Laws for Fine-Grained Mixture of Experts

Open Webpage

Jan Ludziejewski, Jakub Krajewski, Kamil Adamczewski, Maciej Pióro, Michal Krutul, Szymon Antoniak, Kamil Ciebiera, Krystian Król, Tomasz Odrzygózdz, Piotr Sankowski, Marek Cygan, Sebastian Jaszczur

Published: 01 Jan 2024, Last Modified: 14 May 2025ICML 2024EveryoneRevisionsBibTeXCC BY-SA 4.0