Нейросети начали создавать код, который не планировали разработчиками

Исследователи американской компании Anthropic недавно обнаружили в нейросети Claude ранее неизвестный сегмент. Это своего рода временный "рабочий стол", или, если более профессионально, J–space, — место, внутри которого модель удерживает важные для ответа понятия и готовит дальнейшие шаги.

Одни эксперты видят в этом лишь сложные вычисления, другие уже допускают слово "мысли" в отношении ИИ, пусть и с оговорками.

Что именно происходит внутри нейросетей последнего поколения в короткий период между запросом пользователя и готовым ответом — в обзоре "ДП".

Работа с черновиком

Чаще всего работу языковой модели объясняют так: она получает начало текста и рассчитывает, какое слово или часть слова должны появиться следующими. Затем делает такой же расчёт ещё раз и так постепенно собирает полный ответ.

Чтобы продолжить простую фразу, модели достаточно найти знакомую языковую закономерность. Но при анализе договора, написании программы или составлении плана ей приходится учитывать контекст, сопоставлять факты, удерживать промежуточный результат и выбирать последовательность дальнейших действий.

Директор по развитию ИИ "Группы Астра" Станислав Ежов объясняет, что изначально нейросеть учится на сравнительно простой задаче: ей показывают огромное количество текстов и предлагают предсказывать продолжение. Если прогноз оказывается неверным, система корректирует внутренние числовые настройки. Эта операция повторяется миллиарды раз.

"Разработчики не вшивают в модель отдельные команды “пиши стихи” или “объясняй физику”. Но чтобы уверенно работать с языком, ей приходится усваивать множество связей между словами, фактами и идеями. На определённом масштабе из этого могут появиться новые навыки", — считает Ежов.

Такие свойства принято называть эмерджентными — возникающими у сложной системы, хотя отдельно их никто не программировал.

При этом руководитель центра компетенций по ИИ компании "Рексофт" Юрий Воеводко призывает не превращать этот эффект в мистику.

По его словам, некоторые способности могут развиваться постепенно, а внезапными выглядеть лишь из–за устройства тестов: модель долго не достигает заданного порога, а затем преодолевает его.

Обнаруженный J–space нельзя показать как отдельную деталь или участок электронного мозга. Это набор внутренних числовых состояний, через которые проходит информация. Бизнес–архитектор проектов ИИ экосистемы "Авандок" Алексей Борщов предлагает представить его как общий канал, куда поступают важные для текущего ответа понятия.

"В обычных условиях модель обрабатывает огромный объём информации автоматически, и лишь малая часть — буквально несколько десятков понятий одновременно — попадает на этот “рабочий стол”", — поясняет он.

Например, при решении задачи нейросеть может временно удерживать найденный промежуточный результат, ещё не сообщая его пользователю. Руководитель отдела машинного обучения SkyDNS Вадим Куликов сравнивает такой механизм с черновиком.

"Он очень похож на нашу способность удерживать в уме план на несколько шагов вперёд", — добавляет он.

Главное здесь в том, что отдельную функцию внутреннего "черновика" разработчики в Claude не устанавливали. Она появилась в результате обучения, поскольку помогала модели лучше решать поставленные задачи.

Математика или чувства?

Сам факт существования внутренних промежуточных состояний уже почти не вызывает споров. Но специалисты расходятся в том, как их следует трактовать. Технический директор компании "Стахановец" Сергей Щербаков, к примеру, считает слово "мысли" принципиально неверным.

"Процесс вывода представляет собой детерминированную последовательность матричных вычислений. Промежуточные состояния скрытых слоёв являются числовыми векторами и не обладают свойствами осознания, рефлексии или планирования. Использование термина “мысли” не соответствует математической сути процесса", — подчёркивает эксперт.

У его коллег позиция менее категоричная, хотя они и не приписывают модели сознание.

"Если называть “мыслью” подготовительный этап, на котором модель выбирает путь рассуждения и извлекает факты из скрытого представления, то метафора вполне рабочая", — считает Куликов.

Алексей Борщов предлагает разделять два разных вопроса. Первый — может ли модель получить доступ к внутренней информации и использовать её при подготовке ответа. Второй — испытывает ли она при этом что–либо.

Так или иначе все участники дискуссии признают верными несколько тезисов: система может формировать собственные навыки независимо от создателя; может удерживать информацию от пользователя; может использовать полученную информацию непредсказуемым образом.

Чёрный ящик

Разработчики точно знают, из каких математических операций состоит модель, как устроена её архитектура и каким образом проходило обучение. Но восстановить полную цепочку, которая привела к каждому конкретному ответу, пока не могут.

Обычную программу разработчик составляет из правил и команд, работу которых может проследить. Нейросеть скорее выращивается: ей задают условия обучения, а внутренние способы решения задач формируются в процессе.

Даже разработанный Anthropic инструмент J–lens, позволивший обнаружить рабочее пространство Claude, даёт лишь приблизительную картину. Для рядового пользователя эта неопределённость почти незаметна. Но для бизнеса она становится практической проблемой. Чем больше решений компания передаёт ИИ, тем важнее понимать, почему система выбрала именно такой вариант и где она может ошибиться.

После завершения обучения параметры обычной модели фиксируются. Разговор с пользователем не переписывает её внутреннее устройство и не делает её автоматически умнее. Она может помнить содержание текущего диалога или получать сохранённые сведения из внешней системы, но это не то же самое, что обучение.

"Если бы модель доучивалась на каждом диалоге, она бы быстро “поплыла”. Представьте, что учебник математики переписывают после каждого урока, дополняя заметками любого ученика", — объясняет Вадим Куликов.

Новые способности появляются при обучении следующей версии либо благодаря внешней технологической обвязке. Модели подключают к памяти, поиску, корпоративным базам, бухгалтерским системам, почте и программам. Именно это сейчас меняет ИИ заметнее, чем простое увеличение количества параметров. Несколько лет назад языковая модель в основном отвечала на вопрос. Теперь она получает возможность совершать действия. И в этом большая разница.