Эта статья скорее про текущие проблемы и достижения системы. Если вы не хотите читать о том, в какой строчке логики у меня проблема и как я ее исправил или нет, вам лучше пропустить статью XD
И вновь привет! Разработка идет полным ходом, особенно после того, как мне на день рождения подарили хороший сервер :)
Как вы знаете, AION — это не просто очередная LLM или LoRa-like GPT, а намного более сложная изнутри система (см. AION First). Из-за этого возникают проблемы в обучении. В стандартной LLM все достаточно легко: загружаешь огромный текст и ответы и ждешь, пока PPL и loss упадут, главное — следить, чтобы модель не переобучилась.
В моей системе намного больше хлопот. В AION есть три основных модуля: Concept Space (CS), Language Space (LS), а также Librarian (LB). Каждый из них нужно обучать, но предположите: существует ли большой датасет text-to-concept или token-to-graph? Увы, ничего подобного нет. Приходится составлять и придумывать, как обучать каждый модуль.
Основная проблема — некая «цикличность проблемы». Система работает как:
Text Input → LS → LB → CS → LS → Text Output
Никогда не знаешь, что именно сломалось: CS, LS или LB. Чаще всего ломается LB, потому что он одним из первых создает граф новых знаний. Иногда LS неверно обезличивает текст. Например, из предложения «Егор любит играть в роблокс и часто гуляет с собакой» LB может собрать связь Егор → собака вместо Егор → роблокс. Думаю, проблема как раз в недостатке сложных тренировочных данных: многие датасеты приходится создавать вручную. На текущий момент, 06.08.26, я обучаю LB на примерно 2000 строках — это мало.
Думаю подключить небольшую LLM для генерации датасета. Забавно: я использую ненавистную мне LLM, чтобы создать новую систему, которая, по моим прогнозам, будет намного лучше и умнее их самих XD
Также я начал изучать нейробиологию и психологию, чтобы сделать нейросеть еще человечнее. Уже создан ряд механизмов на основе психологии, которые помогут AION иметь собственный вариант цифровой личности и психики, но это пока ранняя стадия. Я не могу утверждать, что «создал AGI и дал ему самосознание» или что это будет работать на 100%, но всё движется к этому.
Ранее я писал про AION так, будто завтра он будет готов. Но без проблем не обошлось: с каждым днем активной разработки я понимаю, что один механизм нужно убрать, а другой добавить. Теперь я даже боюсь думать о «почти всё готово» XD
Точно могу сказать, что планирую выпустить AION alpha 15 августа и дать раннюю версию ограниченному числу людей. А AION First, по плану, выйдет 31 августа или 1 сентября. Кажется, ставить дедлайны для самого себя эффективнее, чем бесцельно разрабатывать продукт :)
Спасибо за прочтение! Ждите следующих статей :)