Тексты, создаваемые лингвомоделями, максимально предсказуемы. Большая лингвистическая модель именно за этим и гонится — она находит самое вероятное следующее слово и ставит его в ряд. Это всегда повторение уже известных паттернов.

Настоящее творчество, наоборот, максимально непредсказуемо. Но с точки зрения статистики гениальность неотличима от абракадабры. «Дыр бул щыл убеш щур» из стихотворения Крученых близко по информационной энтропии к «Крг дуж рбч кырг ыда» из случайной генерации (если, конечно, стихи Крученых и статьи о нем не входили в массив обучения).

Дело в том, что человеческий гений производит вовсе не «информацию». Он не создает сообщения, уменьшающие неопределенность наших представлений. Гений создает новое пространство представлений. Или, на худой конец, новую систему связей между ними. Читаю нового Пелевина. Размышления про ИИ не заставили себя долго ждать.
—Виктор Пелевин, «Возвращение Синей Бороды»

Читаю нового Пелевина. Размышления про ИИ не заставили себя долго ждать.