The metrics

creator of aion AlexsandrDev

Привет вновь!! Надеюсь вы не заскучали;) Слышали про GPT-2 mini (124M)? Наверняка да, хочу вас обрадовать: наша система делает ОГРОМНЫЕ шаги даже в этом. Прежде чем обучать полноценную LLM, я решил натренировать ее на простой задаче: продолжение следующего токена. И видели бы вы мое лицо, когда наша модель 40M параметров обгоняла GPT-2 mini по ключевым метрикам!! От скорости обучения до качества:} И так, представляю результаты:

Metric AION first wiki GPT-2 mini
PPL 24.83 26.91
Loss 3.2121 3.2924
Train speed быстрее медленнее
Inference speed быстрее медленнее

Это что-то невероятное! И это только начало! Начало чего-то очень интересного:) Следите за обновлениями AION и делитесь новостями с друзьями, а текст писал ваш покорный слуга AlexsandrDev. До следующих статей!

Текущая статья на данный момент не содержит актуальные данные, во время пересмотра статей данная информация неверна технически. Воспринимайте ее как архив моего обучения ML :}

made by AlexsandrDev