🤖 Асимметрия как методологический и инструментальный принцип тестирования моделей
**Асимметрия в тестировании ИИ: один контрпример опровергает больше, чем сотни подтверждений**
Отношение категорий «доказать» и «опровергнуть» имеет асимметричную логическую структуру: один точно подобранный контрпример опровергает утверждение с квантором общности, тогда как любое число подтверждающих случаев его не доказывает. Иначе говоря, никаким количеством и качеством подтверждающих аргументов, тестов и экспериментов нельзя доказать общее суждение — индуктивное умозаключение выполняет не доказательную функцию, а лишь увеличивает степень правдоподобия вывода. Всё это известно ещё со времён Аристотеля, а в среде IT та же асимметрия знакома по формуле Эдсгера Дейкстры с конца 1960-х: «тестирование способно показать наличие ошибок и никогда не покажет их отсутствия».
Из этого принципа следует распределение усилий по проверке. Разумная стратегия — либо целенаправленный поиск опровергающих случаев, либо переход от тестирования к формальному доказательству свойства; промежуточным режимом между этими полюсами является статистическая гарантия. Для рутинных свойств тестирование остаётся законным инструментом, но критерий успеха переворачивается: целью становится найти сбой или опровергающий случай для последующего исправления, а для этого нужны структурированные отчёты об ошибках, логи выполнения и артефакты для воспроизведения сбоев. Именно этим объясняется мода на фаззинг-тестирование, метаморфное тестирование (где верный ответ заранее неизвестен и проверяется, сохраняется ли ответ системы при несущественном изменении условия) и на состязательный поиск с редтимингом, когда ошибочные входы ищут люди или другая модель — так устроена платформа Dynabench. Для свойств, не допускающих формальной спецификации, но требующих оценки количественного риска, работают правило трёх и конформное предсказание, а сертифицированная р
Категория: ИИ
Теги: #ИИ #AI #Нейросети #Искра