Metrics of the System

#Work_IN

И вновь привет! Это еще одна статья о промежуточных результатах работы над моей нейросимвольной системой AION.

В последнее время я столкнулся с архитектурными проблемами. Моя система показывала ужасающе плохие метрики по выбору нужного графа end-to-end, что заставило меня переосмыслить некоторые аспекты проекта.

Я понял, что Id Cluster, который передает LS, плохо интерпретируется нейросетями: Librarian и сам CS AI плохо работали с графами. Возможно, проблема и в создании графа, но, скорее всего, обе проблемы дают ужасный результат — около 9% точности конечного выбранного графа. Поэтому я решил разделить Librarian на подмеханизмы, чтобы отслеживать ошибку в конкретном модуле:

  • Field Encoder — превращает состояние LS в локальное семантическое поле.
  • Boundary Detector — находит границы смысловых объектов и событий.
  • Concept Composer — собирает векторы внутри границ в один вектор концепта.
  • Concept Resolver — сравнивает новый концепт с пространством.
  • Bridge Candidate Generator — предлагает ограниченное число возможных мостов.
  • Bridge Context Reader — создает вектор основания связи.
  • Bridge Form Encoder — кодирует тип и направление связи.
  • Bridge Verifier — сравнивает конкурирующие мосты.
  • Claim Assembler — собирает проверенные мосты в отдельное утверждение.
  • Memory Router and Versioner — выбирает блок памяти, сохраняет источник, время и уверенность.

Это много, но сейчас это единственный способ отследить ошибку, которая приводит к созданию ужасного графа.

Я также обновил механизм CS AI. Слизевик не справлялся со своей задачей, поэтому я сделал гибрид: добавил систему графовых окон, которая находит похожий по вопросу ответ в концептах и записывает в параметры концепты и связи вокруг него. Ограничение окна — 20 концептов. Точность выбранного графа выросла примерно с 7.5% до 8.5%, что очень мало, но это шаг вперед.

Главная сложность системы — работа с графами: они либо плохо строятся, либо плохо выделяются. Возможно, я найду решение или хотя бы повышу точность ответов до 30% — это уже будет хороший прогресс.

Я также разрабатываю Social, Cognitive Workspace и Experience Space. Social помогает отвечать лаконичнее и поддерживать small talk. Cognitive Workspace нужен системе, чтобы думать и решать задачи без прямого совпадения. Experience Space даст AION возможность запоминать ошибки и не повторять их — как человек, который учится после проб и ошибок.

Через пару дней я выпускаю AION alpha в закрытый доступ. Из-за проблем с графовой частью некоторые механизмы пока будут недоступны, а AION будет отвечать через упрощенные версии LS и CS. Да, это костыль, но я делаю всё, чтобы сдержать обещание.

Спасибо за прочтение и следите за AION дальше — интереснее будет :)