У меня 2 ответа на этот вопрос: один короткий, другой — посложнее. Начну с короткого.
Я и есть LLM
Буквально. Если вы воспринимаете меня как машину, переводящую ваши запросы в код, то в каком-то смысле я сильно похож на LLM, в зависимости от вашей модели — вплоть до полной идентичности. Я создал много систем, прошёл через большое количество окопов и траншей. Где-то мне удавалось сделать жизнь пользователей лучше, где-то нет. В части сражений я победил, в части — проиграл. Это мой контекст, мой уникальный опыт, которого нет у других.
Я обладаю интерфейсом: понимаю естественный язык, даже несколько, если быть точнее, и с каждым языком в меня входила часть культуры. Эта смесь уникальна, но сам интерфейс не уникален. Могу ли я отвечать на запросы в формате Anthropic или OpenAI? Конечно, да. Могу ли отвечать так же быстро? Иногда я могу быстрее, но мои человеческие возможности, сами понимаете, ограниченны.
Точно так же ограничены и другие языковые модели. Они отличаются от меня только деталями реализации.
Теперь вторая версия ответа, чуть более подробная.
Глава первая. Универсальная библиотека
Курд Лассвиц в своём рассказе «Die Universalbibliothek» (1901, https://mithilareview.com/lasswitz_09_17/) одним из первых вводит концепцию библиотеки, содержащей все возможные знания: и те, что уже есть, и те, что только будут существовать (эти книги пока ещё никто не написал — но они там уже стоят на полках).
Позже Хорхе Луис Борхес, вдохновившись этой работой, публикует «Вавилонскую библиотеку». По сути, он раскрывает ту же конструкцию, но через призму восприятия людей, живущих внутри неё. И там есть одна замечательная цитата:
Одна книга, которую мой отец видел в шестиграннике пятнадцать девяносто четыре, состояла лишь из букв MCV, повторяющихся в разном порядке от первой строчки до последней. Другая, в которую любили заглядывать в этих краях, представляет собой настоящий лабиринт букв, но на предпоследней странице стоит: «О время, твои пирамиды».
Фантасты потом много раз возвращались к схожим идеям, и каждый раз это была попытка представить себе грандиозный, нечеловеческий масштаб такой библиотеки — и одновременно её глубокую внутреннюю проблему.
Глава вторая. Тотальная библиотека и теорема Гёделя о неполноте
В прошлой библиотеке было всё — и истина, и ложь, и порядок, и хаос. В ней нет критерия, отделяющего правду от шума. Давайте представим библиотеку без изъянов: в ней собраны все истинные знания, нет противоречий, каждое утверждение доказуемо её же средствами. Звучит как идеал. Но есть одна проблема — она должна быть доказуемой.
Если она непротиворечива, в ней не может быть утверждений, которые противоречат друг другу (иначе — логический взрыв). В ней не может быть книг, которые нельзя доказать средствами самой библиотеки. В ней не может быть лжи.
Но ставим на полку книгу «Это высказывание ложно» — и библиотека попадает в тупик. Она и истинна, и ложна одновременно. Такую тотальную библиотеку построить нельзя. Тот, кто знает ответ, всегда находится за её пределами — в коридоре.
Гёдель это и доказал: непротиворечивая система не может быть полной.
Получается:
а) полной непротиворечивой библиотеки просто не может быть,
б) в коридоре у входа в эту несовершенную библиотеку должен находиться наблюдатель — человек или машина, — который компенсирует её несовершенство на том или ином уровне.
Математика придумала инструмент для частичной компенсации — трансфинитную индукцию. Она позволяет доказать завершимость одних программ, но не всех. Это алгоритм доказательства, а не алгоритм навигации по Вселенской библиотеке.
Глава третья. Про способность объяснить
Итак, мы умеем ходить по библиотеке, умеем доказывать, понимаем, что она не идеальна. Но мы не можем просто взять и перейти к нужной книге. Даже если представить, что где-то в этой бесконечной библиотеке существует путеводитель, его размер будет сравним с размером самой библиотеки.
Точно так же мы не можем получить от «искусственного интеллекта» ту самую исчерпывающую книгу — не потому что он пока не может, а потому что такая книга как физический объект невозможна. Она, по-хорошему, должна включать в себя всю Вселенную. Наверное, можно сказать, что мы на её страницах и живём — и сойти с них не можем.
Для меня первая зима искусственного интеллекта закончилась ровно этим осознанием. Я понимал, что способен создать нейронную сеть: взять чужую архитектуру или придумать свою, обучить её и получить приемлемый результат. Но я не способен объяснить законы, по которым она работает, будучи запущенной тысячи раз.
То же самое сегодня с LLM: мы не способны объяснить, как они работают, в общем случае. Можно задать системный промпт, можно подкрутить веса, но это не законы, а просто приближения. А когда используются закрытые LLM, добавляется ещё один слой: мы сталкиваемся с чужой идеологией, которая пока маскируется под ограничения, но не за горами и сознательное вредительство.
Поэтому нам необходима философия — некая система мышления, которая защитит нас от зловредных эффектов применения LLM и последующих систем. Без неё — никак. Эта система мышления и есть результат деятельности наблюдателя в коридоре библиотеки.
Примеры таких систем мышления:
- Трансфинитная индукция
- REST
- ТРИЗ
- АРИЗ
- Эвристики Нильсена
- Гибкие методологии
Система мышления может быть достаточно простой, примитивной, где-то даже ошибочной и несовершенной. Но это и есть ключевой фактор для достижения конкретного, проверяемого результата.
Что мне делать, когда придёт LLM?
Придать важности той системе мышления, которой у вас ещё нет, — и сформулировать её, осознать её ограниченность. Будет использоваться ваш мозг или его альтернатива — разницы, по большому счёту, нет. Размер «библиотеки» конкретной LLM весьма ограничен в сравнении с вселенскими масштабами, буквально физически недоступен для модели.
Чтобы перейти на другой этаж, который пока закрыт, наблюдатель должен сделать шаг вперёд. Создать новую LLM или открыть дверь самостоятельно — опять же, разницы нет.
Сервисы вызова такси уже отняли у многих свободу (вы можете поехать только туда, где работает ваш сервис). LLM-операторы попытаются точно так же отнять у вас свободу открывать дверь самостоятельно.
Я считаю, что нужно:
- Сформировать свою систему мышления, исключить наитие в инженерных решениях, осознать ограничения системы, быть готовым пересматривать их
- Применять LLM локально и инвестировать в технологии локального запуска, в то, что позволит контролировать систему мышления.
Это и есть то, что позволит вам как инженерам не стать просто прокладкой между вводом и выводом. Но не ждите этого от других LLM.