Даннинг — Крюгер + нейросеть = дерьмо на выходе.
Случай
Частный дом: двадцать девять помещений, подвал, восемь инженерных систем — освещение, розетки, вентиляция, отопление, кондиционирование, заземление, бассейн, домашний кинотеатр. Управление на шинной системе автоматизации дома.
Есть файл проекта на 200 листов и 105 мегабайт. Из 105 мегабайт 102 занимают картинки. ФАКТ
По всем признакам проект делался через ChatGPT, и потом это подтвердилось. ФАКТ
Что в нём есть
В нём есть всё, по чему проект узнают на глаз. Рамки и штампы. Пояснительные записки с разделами «призначення системи», «прийнята архітектура», «обґрунтування технічних рішень». Нормативная база. Кабельные журналы на десятки строк. Спецификации. Ведомости по каждому помещению. Описание «сценарних станів будинку» — HOME, NIGHT, AWAY, BOOST, MASTER (режимы «дома», «ночь», «нет дома», «усиленный» и общий), — с объяснением, почему управлять состояниями дома удобнее, чем отдельными приборами.
Текст гладкий. Термины стоят на своих местах. Ни одна фраза по отдельности не ошибочна.
Чего в нём нет
Нет функции. Проверяется это арифметикой, без экспертизы:
Семь сценариев на четырёх контактах. Пояснительная записка обещает семь режимов работы вентиляции. На схеме приточные установки связаны с системой управления четырьмя сухими контактами: три «включить» и один общий «усилить». Сухой контакт умеет одно — быть замкнутым или разомкнутым. Для режима «ночь» или «нет дома» установке надо сообщить, с какой производительностью работать, а величины у контакта нет, есть только «да» и «нет». ФАКТ
Две фазы в трёхжильном кабеле. К каждому вытяжному вентилятору подведены постоянная фаза (питание самого вентилятора и его таймера), коммутируемая фаза (команда «включись»), ноль и защитный проводник. Это четыре жилы. В схеме и кабельном журнале стоит кабель 3×1,5. ФАКТ
Один активатор вместо семи. Активатор — модуль, который по команде открывает и закрывает приводы клапанов отопления, по одной зоне на канал. На схемах отопления семь четырёхканальных активаторов. В спецификации — один. ФАКТ
Маркировка и нормы. Обозначения аппаратов и линий произвольные, ни по одному стандарту. В нормативной базе раздела вентиляции нет ни одного электротехнического документа — ни ПУЭ (правил устройства электроустановок), ни ДБН В.2.5-23 (государственных строительных норм на электрооборудование гражданских зданий). ФАКТ
30 кВт против 0,434. В общей схеме ввода секция отопления записана на 30 кВт. В расчёте самого раздела отопления — 0,434 кВт. Котёл в доме газовый. Электричество ему нужно только на насос и автоматику, это сотни ватт, а 30 кВт — тепло, которое даёт газ. Похоже, в электрическую схему переписали тепловую мощность. ГИПОТЕЗА Если это так, то завышены и нагрузка ввода, и защита секции.
Нет и того, что арифметикой не проверить, потому что проверять нечего. Нет планов: ведомости по помещениям есть, а где в доме лежит хоть одна точка — не показано. Нет принципиальных схем автоматики с номерами клемм: щит по такой документации не собрать и не прозвонить, то есть не проверить, куда ведёт каждый провод. Разделы не увязаны между собой: в каждом своя нумерация групп, и с общей схемой она не сходится. ФАКТ
Есть ещё признаки того, что файл никто целиком не читал. Около пятидесяти пяти листов повторяются: раздел отопления вставлен дважды, кабельные журналы вентиляции — дважды. Два раздела, которые были в предыдущей редакции, исчезли без следа.
Проект посмотрел профессиональный проектировщик. Его оценка уложилась в одно слово: «говно». ФАКТ
Механизм
Нейросеть ничего не добавляет к пониманию. Она умножает то, что у человека уже есть. Тому, кто умеет, она даёт скорость: рутину, которую он сделал бы сам за неделю, она делает за вечер. Тому, кто не умеет, она даёт объём. Без инструмента человек без понимания нарисовал бы пятнадцать листов, на пятнадцатом бы и остановился, и это было бы видно. С инструментом выходит двести.
Признаки подешевели и перестали отличаться от настоящих. Раньше некомпетентность было видно издалека: кривой чертёж, безграмотная записка. Теперь записка гладкая, а чертёж аккуратный. Модель хорошо умеет то, что выглядит как проект: связный текст, правильные термины, разделы на своих местах. Плохо — то, что делает проект проектом: число жил в кабеле, количество модулей, совпадение цифр на разных листах. Первое — работа с формой, второе — работа с предметом.
Признак честен, пока его дорого подделать. В экономике это называют сигналом: диплом говорит работодателю о способностях потому, что получить его без них трудно (Майкл Спенс, 1973). ФАКТ Аккуратная записка и полный комплект листов были таким сигналом, пока на них уходили недели работы человека, который понимал, что пишет. Когда подделка стоит вечер, сигнал перестаёт что-либо сообщать.
Проверка не подешевела. Чтобы произвести этот файл, хватило нескольких вечеров. Чтобы показать, что функции в нём нет, нужен человек, который понимает, как должно быть. Ему надо пересчитать каналы, сверить две редакции, найти дубли, сложить мощности по секциям. Затраты переехали с автора на проверяющего. Если проверяющего нет — на монтажника, который соберёт щит по спецификации с одним активатором вместо семи. Или на заказчика, который за это заплатит.
Кто проверяет
Проверял я тоже с помощью нейросети: перебор листов, сверка редакций, поиск дублей и пересчёт выполнены программно. ФАКТ Значит, дело не в инструменте.
Дело в том, кто чей результат проверяет. В своей работе автор — я, а модель проверяет и ускоряет рутину. Когда она ошибается — а она ошибается, — ошибку вижу я, потому что знаю, как должно быть. В этом проекте автором была модель, а проверять её результат было некому: исполнитель сам не знал, как должно быть. Ошибка проходила насквозь и останавливалась только у заказчика.
Исполнитель взялся за работу, не понимая её глубины и не зная ни одного ДБН. Большую часть сделала модель. Проверить её он не смог: смотрел и ошибок не видел. Он и сейчас не может понять, где ошибка, потому что не знает, что смотреть и куда. ФАКТ
ТЕЗИС Это то, что описывает эффект Даннинга — Крюгера: чтобы оценить работу, нужна та же компетентность, что и чтобы её сделать. Чтобы увидеть, что кабель 3×1,5 к вентилятору с задержкой выключения не подходит, надо знать, что проводов к нему идёт четыре: две фазы, ноль и земля. Кто этого не знает, видит в журнале обычный кабель и обычную цифру — ошибки для него нет. Скажи ему, что здесь не хватает жилы, — он не поймёт, какой и зачем. Так опечатку в слове видит только тот, кто знает, как это слово пишется. Незнание здесь не видит собственных границ — поэтому за работу и взялись. Оговорка про сам эффект: значительная его часть воспроизводится и на случайных данных, как статистический артефакт (Nuhfer и др., 2016; Gignac и Zajenkowski, 2020). ФАКТ Для этого случая хватает и той части, которую никто не оспаривает: проверить работу может только тот, кто умеет её делать.
Связь с «Признаком вместо функции»
В тексте «Признак вместо функции» я разбирал гофру в штукатурке. Она стоит потому, что так положено, хотя ни от чего не защищает и ничего не позволяет заменить. Здесь то же самое, только размером с целый проект: правило мёртвое, держится одной формой. Новое одно — форма теперь производится почти даром и в любом количестве.
Закон
Нейросеть удешевила признаки, но не проверку. Поэтому некомпетентность теперь масштабируется, а её цена переходит к тому, кто проверяет.