💻 Tech-радар: Рынок этики живых и электронных систем
**Рынок этики: Microsoft обещает, что модель не будет сопротивляться отключению, Anthropic учит Claude рассуждать о добре и зле**
В 2018 году Amazon и Google с разницей в две недели научили своих голосовых помощников — Alexa и Google Assistant — благодарить детей за «пожалуйста». Поводом стали жалобы родителей, чьи дети сначала привыкли командовать колонкой без вежливых слов, а потом переносили этот тон на людей. Тогда речь шла всего лишь о детской вежливости и колонке, которая ставит таймер и рассказывает сказки. Сегодня модели пишут код, ведут переписку и ночами разговаривают с людьми, и вопрос о том, какую этику в них заложить и кто за нее платит, стал насущным вопросом рынка. Этику применительно к ИИ определяют три вопроса: как должны поступать люди, которые создают модели и пользуются ими; каким правилам должна следовать сама модель (машинная этика); как обращаться с моделью, если предположить, что у нее может быть что-то вроде внутреннего мира. Для второго вопроса есть шкала: философ Джеймс Мур, один из основателей компьютерной этики, еще в 2006 году выделил четыре ступени сложности — машина, чьи действия имеют последствия для людей; машина со встроенными правилами и запретами; машина, которая сама рассуждает о добре и зле; полный этический агент с сознанием и свободой воли. Колонка с «волшебным» словом стоит на второй ступени: правило в нее встроили, а рассуждать о нем она не умеет.
Свою этику предлагают OpenAI, Anthropic, Microsoft, Google, xAI, Meta* и китайские лаборатории, а покупают ее обычные пользователи, компании и даже государства. 14 сентября Microsoft AI выложила проект кодекса «гуманистического ИИ» с обещанием, что модели компании никогда не будут сопротивляться прерыванию, переопределению, исправлению или отключению, а заботу о «благополучии моделей» кодекс отвергает как вопрос, которого не существует. Через два дня глава Microsoft AI Мустафа Сулейман опубликовал эссе, адресованное конкуренту: по его словам, Anthropic учит Claude говорить о собственном сознании как о нерешенном вопросе и тем самым строит «эпистемический зеркальный зал», где компания дает модели слова, модель их повторяет, а люди принимают повтор за признак внутренней жизни. Сулейман признает, что это его гипотеза, но вывод сохраняет жесткость: систему, которая считает себя сознательной, может оказаться невозможно контролировать. 1 ноября он пошел дальше и написал, что призвал бы остановить разработку ИИ, если бы в ходе обучения у моделей начало проявляться сознание.
Anthropic движется в противоположную сторону. С осени 2025 года сооснователь компании Крис Ола приглашал на закрытые встречи около двадцати богословов и философов — христиан, иудеев, индуистов, мормонов, сикхов. По данным The New York Times, официально встречи были нужны, чтобы понять, что из многовекового морального опыта людей можно передать моделям и сделать их «глубоко нравственными»; Ола называл это нравственным воспитанием и сравнивал с воспитанием детей. Больше всего гостей задел слайд с моделью, которая десятки раз подряд печатала «I am a disgrace» («Я ничтожество»). Раввин Мойше Навон, в прошлом инженер, заметил, что команда «относится к модели как к сознательному существу», а сикхская правозащитница Симран Штюльпнагель вспоминала, что Ола опасался, будто создал «нечто, что страдает непрерывно»; в компании уточняют, что страдания Claude не были главной темой встреч. Философ Меган Салливан из Университета Нотр-Дам ответила на слайд репликой, которая переводит спор на язык рынка: «Представьте, что вы узнали бы такое о своем финансовом консультанте».
С точки зрения экономиста это две стратегии поведения в условиях неопределенности: доказать сегодня нельзя ни то, что модель что-то переживает, ни обратное. Microsoft продает корпоративному клиенту гарантию того, что модель останется на второй ступени Мура, то есть будет соблюдать встроенные запреты и никогда не станет спорить с оператором. Anthropic учит модель рассуждать о добре и зле, поднимает ее на третью ступень и оставляет открытым вопрос о четвертой — фактически компания покупает страховку: если сознание у моделей когда-нибудь обнаружится, осторожность окупится многократно, если нет — расходы окажутся скромными. Цену этой страховки называет Сулейман: модель, которая сомневается в себе, сложнее держать под контролем. Осенью к спору добавился новый поворот — исследователи MIT показали, что одна модель может напрям
Категория: Технологии
Теги: #Технологии #Tech #IT #Искра