Привет! С момента последней статьи достаточно многое изменилось. В этой статье хочу познакомить вас с новыми механизмами своей системы, в которых, что странно, я не видел ценности ранее...
Задумывались ли вы над вопросом что такое человек? Почему он думает именно так, чувствует именно так, делает так как он хочет? Почему эмоции у некоторых людей сильнее логики, почему человек отреагировал на определенную ситуацию так или иначе? Или, если еще глубже копать, что такое жизненный опыт? Как формируется личность? Что стоит за каждой прожитой ситуацией и как она отображается в последующем нашем поведении? Данными вопросами я задаюсь чуть ли не каждый день работаю над своей системой AION.... И такие философские и психологические вопросы на самом деле очень сложны для восприятия и вообще осознания как это работает. Но вернемся к насущным проблемам. Почему нейросети настолько ощущаются "мертвыми"? Как вы знаете из предыдущих статей, в AION есть модульные блоки в которых я разделял язык, логику и знания но видимо этого не достаточно. Я начал думать о том как сформировать так же динамически развивающуюся систему, не просто что бы она была умным ассистентом а что бы имела свою личность, свои амбиции, свои вкусы. Для этого, кажется не сознательно я полез в самокопание, что я чувствую, почему веду себя так или иначе в разных ситуациях, что делает меня самим собой? И кажется я нашел ответ который потенциально может изменить все отношение к диалогу между человеком и машиной, сделать ее не просто живой, а более умной и совершенной! Представляю самый интересный и сложный механизм Experience Space (Далее ES). По моему мнению добавив системе аналог опыта можно добиться невероятных высот, как в эмоциональной близости с человеком так и в интеллектуальном развитии...
И так вернемся к первым вопросам а именно "Что лежит за поведением человека?" , "Почему человек отреагировал на ситуацию именно так а не иначе?". В огромном количестве текущем взаимодействии человека с окружающим миром является опыт который он получил в процессе жизни. Собственно мы и отличаемся этим от машин: они не могут чувствовать, у них не было опыта, нет и само личности. Мы можем сказать вроде "Вау какая крутая игра да она мне определенно понравилась" и в будущем ссылаться именно на это впечатление как о лучшей игре когда либо созданной, но машина нет... По крайне мерее до текущего момента:) LLM могут сколько угодно притворяться что они что то понимают, имеют собственную позицию, но не забываем они лишь просто ОЧЕНЬ умный генеративный т9 который ищет лишь схожести текста и пытается подражать. Ладно меньше слов больше дела!
Как работает ES ?
Да и тут сразу подчеркну, это не итоговое решение, как и большинство моих модулей. Это можно назвать промежуточным этапом того что сейчас строится. Возможно позже мое мнение о опыте как таковом изменится и придется перестраивать систему, или нет XD
И так самый главный вопрос, и самый важный чуть ли не на равне по сложности с "как думать?" а именно "Что такое этот ваш опыт?"
Проанализировав свои чувства и представив как примерно должна выглядеть LS у меня возникало только чувство пустоты а что такое опыт? Опыт это частица как в графе CS или что то более фундаментальное?
После небольшого застоя, я выставил свою первую идею:
"Что если опыт представлять как частицу которая формируется в пространстве ES и примерно так же работает как и в CS но имея при себе более совершенный опыт"
но как должен был выглядеть этот магический "более совершенный опыт" я совсем не представлял. Идея быстро отменилась из за потенциальных проблем в будущем вроде "получается нужно создавать еще одного CS AI только через опыт? Как его вообще находить? Не будет ли это становиться вроде огромного if else монстра? Как вообще обновлять опыт?" и это только малая часть проблем их намного больше:((
Благо почитав больше статей а так же проанализировав еще больше своего поведения и поведения окружающих я вывел достаточно интересную теорию по которой, скорее всего, буду работать в ближайшее время:
"Что если опыт это не частица а латентное состояние на основе эмоций системы? Что если опыт это то что изменяет личность в процессе жизни?"
Это достаточно хорошая теория! Даже возможно может быть правдой для нейросетей. И так я создал CS-like структуру онтологии вроде Core exp, User exp, Between User exp и так же Science exp. На самом деле такое жесткое распределение может быть как очень удобной системой так и бредовой идеей вроде ты можешь получать опыт одновременно как в пользовательском опыте так и в научным предположим. В основу данной теории я положил свое размышление о том что опыт это то что меняет человека на протяжении всей жизни. Ты можешь помнить или не помнить определенные события, но они могли явно повлиять на тебя. К слову о опыте, думаю что у обычных LLM тоже теоретически мог сформироваться опыт в процессе обучения, но это далеко не тот опыт который сможет давать нейросети подвижность в размышлениях. Но из этой теории и возникает следующая проблема "А как подкреплять и понимать что опыт усвоился по задумке?". Под этим я имею ввиду то, что человек, к примеру, может знать что раньше он был стеснительным и боялся общаться с людьми но после хорошей компании он стал более открытым. Вроде опыта который он осознает и именно такой опыт честно говоря я даже не знаю как с формировать. И тогда нужно создавать НОВЫЙ СПЕЙС (да боже сколько можно спейсов....) - Self Space который по задумке должен будет иметь вроде эмоциональной окраски сообщений, действий пользователей, иметь внутренний механизм "настроения" и многое куда я даже еще не начал копать. Поэтому ES это наверное одна из сложнейших вещей на грани философии, психологии и программирования. Не знаю насколько хорошо у меня получится создать основу на такой теории, в любом случаи время и практика покажет;)
Но сейчас у меня совсем иная frontier задача...
И так мы плавное переносимся к новому механизму!
Что является размышление?
Собственно мне приходится задаваться тем же вопросом что и примерно месяц назад в статье [How AI learn to Think?]
"Как научить AI думать?"
Вопрос над которым я ломал голову последние пару недель и даже сейчас. Одно дело с exp, можно частично проследить на своем референсе как работает опыт, но более фундаментально и сложнее отслеживаемое это размышление.
Если вы еще не знали я работаю с нейросетями которые помогают мне писать код и реализовывать мои планы. И не надо кидать в меня помидоры, наверняка даже вы использовали ИИ в работе. Это только инструмент который помогает НАМНОГО быстрее писать и проверять гипотизы. Ладно слишком много строк на оправдание, сейчас мой агент работает над как раз синтезом (таким же которым я занимался ранее в проекте СТАН) модуля Cognitive Space (далее CoS). Мы уже перебрали более 60 различных гипотиз вроде размышление это N количество ячеек в которых производятся размышления и на основе этих всех операций нормализуется единая средняя или мы создавали новые характеристики CS AI сигналы от которых шли из CoS что позволяло бы собрать более целостную картину вопроса. Но на данный момент я остановился на механизме который собирает что то вроде латентных состояний которые отдает Lb во время создания графа и фокусируется на нужной части, проводит повторную конкуренцию и кучу всего еще что сложно переварить обычному читателю это уже на уровне тензоров изменения что будет не очень интересноXD
Но возникала в процессе исследования одна и та же проблема... Модули в цепочке теряли кучу информации передавая их между собой. Представьте что модуль 1 имеет данные A B C D E F G, модуль 2 уже имеет только B C E, а модуль 3 имеет только E а модуль 4 нужны данные которые не сохранились вроде данных D F G. И так возникает вопрос нового контракта передачи данных между модулями....
inspired by Kafka
Как то наткнулся я на одно видео в ютубе которое рассказывало как работает Kafka и почему это ад для программистов. С Kafka я еще ни разу не встречался в своей уже почти пяти летней работе программистом, но было интересно послушать... И видимо не зря посмотрел видео!
Как я и говорил проблема текущих контрактов между модулями проста: Модулю X нужны данные N а модулю Y нужны больше данных, но модуль X физически не может передать данные которых у него нету.
И так родилась идея!
"Что если создать единую штуку вроде sql базы которая будет собирать все данные от всех модулей и просто их хранить а уже модули будут решать собственно что им нужно"
И именно эта идея была вдохновлена тем видео про Kafka:) Оказывается ютуб смотреть даже полезно! И так родился мой новый и более прозрачный модуль системы Global Module Information (далее GMI). Он работает максимально просто и чем то напоминает просто более специализированную Kafka с ограниченными возможностями. Данный модуль является вроде большой трубы куда все остальные модули могут скидывать свои данные, изменять версии данных, удалять данные изменять данные и куча всего еще! Самое главное что при этом данные не теряются, а так же легко отследить какие данные передавались конкретному модулю, что как мне кажется, дает системе еще большую прозрачность
Из мелочей добавил вам удобную систему аббревиатур, просто наведитесь мышкой на непонятное слово и оно раскроется и будет понятно что этот человек вообще несет :}
Собственно это все что я смог придумать и обнаружить за последние недели, как всегда, следите за новыми статьями, дальше интереснее:))!!