В книге «Убийственные большие данные» Кэти О'Нил исследует, как математические алгоритмы, претендующие на объективность, на деле становятся инструментом дискриминации. Автор вводит термин «ОМП» (оружие математического поражения) для описания моделей, которые обладают тремя опасными характеристиками: непрозрачностью, огромным масштабом и способностью наносить серьезный ущерб людям, особенно тем, кто находится в уязвимом положении.
О'Нил начинает с личного опыта работы в хедж-фонде, где она увидела, как математика, когда-то бывшая для нее убежищем, превратилась в инструмент глобального экономического хаоса. Она объясняет, что алгоритмы не являются нейтральными — они всегда отражают ценности, предрассудки и цели своих создателей. Когда эти модели начинают определять, кто получит кредит, работу или даже какой срок заключения назначит судья, они создают «токсичные петли обратной связи», которые наказывают бедных и закрепляют привилегии богатых.
Особое внимание уделяется тому, как алгоритмы используются в образовании и правосудии. Автор приводит примеры, когда учителей увольняют на основе непрозрачных систем оценки, а заключенным назначают более суровые приговоры из-за моделей, учитывающих их социальное окружение, а не только личные действия. Эти системы часто работают как «черные ящики», вердикты которых невозможно оспорить, что лишает людей возможности защитить свои права.
О'Нил также анализирует, как алгоритмы проникают в сферу найма и кредитования, превращая людей в наборы данных. Она показывает, как компании используют «цифровую френологию», чтобы отсеивать кандидатов, основываясь на косвенных признаках, которые часто не имеют отношения к реальной компетентности. В результате люди попадают в ловушку бедности, из которой практически невозможно выбраться, так как алгоритмы продолжают подтверждать их «неблагонадежность».
Книга ставит важный вопрос: готовы ли мы жертвовать справедливостью ради эффективности? Автор призывает к большей прозрачности и подотчетности разработчиков алгоритмов. Она настаивает на том, что мы должны требовать от математических моделей не только точности, но и соответствия этическим нормам, чтобы технологии служили обществу, а не разрушали его основы.
