The metrics
Привет вновь!! Надеюсь вы не заскучали;) Слышали про GPT-2 mini (124M)? Наверняка да, хочу вас обрадовать: наша система делает ОГРОМНЫЕ шаги даже в этом. Прежде чем обучать полноценную LLM, я решил натренировать ее на простой задаче: продолжение следующего токена. И видели бы вы мое лицо, когда наша модель 40M параметров обгоняла GPT-2 mini по ключевым метрикам!! От скорости обучения до качества:} И так, представляю результаты:
| Metric | AION first wiki | GPT-2 mini |
|---|---|---|
| PPL | 24.83 | 26.91 |
| Loss | 3.2121 | 3.2924 |
| Train speed | быстрее | медленнее |
| Inference speed | быстрее | медленнее |
Это что-то невероятное! И это только начало! Начало чего-то очень интересного:) Следите за обновлениями AION и делитесь новостями с друзьями, а текст писал ваш покорный слуга AlexsandrDev. До следующих статей!
Текущая статья на данный момент не содержит актуальные данные, во время пересмотра статей данная информация неверна технически. Воспринимайте ее как архив моего обучения ML :}