Microsoft внедрила новые функции агентного ИИ в Windows 11, которые подвержены галлюцинациям и создают риски безопасности для пользователей. Компания заявила, что эти функции могут приводить к "галлюцинациям" и "новым угрозам безопасности".
Неустойчивый ИИ в Windows 11: что нужно знать
Проблемы безопасности ИИ
Microsoft подчёркивает уязвимости, включая перекрёстную инъекцию запросов (XPIA), когда вредоносное содержимое в элементах интерфейса или документах может вмешиваться в инструкции агента. Это может привести к нежелательным действиям, таким как кража данных или установка вредоносного ПО. Например, загруженный PDF может содержать скрытый текст, который заставит агент выполнять недобросовестные задачи.
Нововведения не включены по умолчанию, но при активации они доступны всем пользователям и обозначены как "экспериментальные агентные функции" с предупреждением при настройке. Microsoft озвучила три ключевых принципа: все действия агентов должны быть наблюдаемыми и отличимы от действий пользователей; использующие защищённые данные агенты должны соответствовать стандартам безопасности; пользователи должны одобрять все запросы данных и действия. Однако эти принципы скорее выражены как устремления, нежели гарантии, и компания рекомендует пользователям ознакомиться с деталями для осознания возможных последствий активации агента.
Риски и тенденции
Критики отмечают, что ответственность за оценку сложных рисков безопасности ложится на пользователей. Уязвимости, связанные с галлюцинациями и инъекциями запросов, часто встречаются в крупных моделях ИИ. Примечательно, что Microsoft добавляет в массовую Windows функцию с признанными недостатками, вероятно, из-за конкурентного давления. Это свидетельствует о том, что недоработанные и небезопасные ИИ-функции становятся новым стандартом.
