Легальный веб-скраппинг для обучения ИИ возможен?
Веб-скраппинг — это автоматический сбор данных с общедоступных веб-сайтов.
Да, он пока легален, если учитывать риски и соблюдать законодательство, дискуссии и судебные баталии продолжаются (н-р, штраф Clearview на $7,5 млн. от ICO, Reddit v Anthropic, Bartz v Anthropic ).
👀 Смотрим по популярным юрисдикциям.
ЕС:
GDPR - сбор данных на законных основаниях, только необходимые, релевантные, соблюдение принципа минимизации, особые требования к чувствительным категориям данных и тп.
ePrivacy Directive (2002/58/EC) - метаданные, файлы cookies, электронная коммуникация. Может ограничивать автоматизированный сбор информации из мессенджеров и email.
Directive (EU) 2019/790 on Copyright in the Digital Single Market — запрещает копирование контента защищённого авторским правом. Исключения применимы только к научным и некоммерческим целям.
Regulation (EU) 2018/1807 on Free Flow of Non-Personal Data — важен при передаче гибридных наборов данных (личных + неличных) между странами ЕС.
В июне французский CNIL выпустил рекомендации по веб-скраппингу:
🔹Соблюдать правила robots.txt, CAPTCHA и условия использования сайтов, т.е. не собирать данные с сайтов, явно запрещающих скраппинг.
🔹Избегать сканирования сайтов, предназначенных для несовершеннолетних и содержащих чувствительные данные.
🔹Автоматически удалять персональные или чувствительные данные после сбора. Остаточный и непреднамеренный сбор конфиденциальных данных, несмотря на меры предосторожности, сам по себе не является незаконным (CJEU-136/17), как только контролеру становится известно об обработке - обеспечить немедленное удаление, по возможности используя автоматизированные средства.
🔹Обеспечивать возможность отказа (opt-out) и прозрачность.
🔹Удалять нерелевантные данные, собранные по ошибке, сразу после их обнаружения.
🔹Уважать разумные ожидания пользователя (характер отношений между субъектами данных и контролёром; явные ограничения, налагаемые веб-сайтами; характер исходного веб-сайта (например, социальные сети, форумы); тип контента (например, публикация в общедоступном блоге или публикация в социальной сети с ограниченным доступом).
Напомню, что еще в отчете EDPB ChatGPT Taskforce (2024) указывалось на то, что публичность данных не означает, что субъект данных явно сделал их публичными, необходим баланс интересов контроллера с правами пользователей, ожидания пользователя играют ключевую роль.
Великобритания
Позиция ICO:
🔹Требуется наличие законного основания (например, законный интерес).
🔹 Необходимость и соразмерность должны быть обоснованы.
🔹Требуется прозрачность и обеспечение прав субъектов данных.
США
🔹Веб-скраппинг не запрещён напрямую.
🔹 Computer Fraud & Abuse Act (CFAA) не применяется к скраппингу открытых данных (hiQ v. LinkedIn). Но сбор данных после получения уведомления о прекращении противоправных действий или обход явных блокировок (например, запретов по IP-адресам или логинам) может квалифицироваться как несанкционированный доступ (Power Ventures v. Facebook).
🔹Нарушение условий не делает скраппинг незаконным (Meta v. Bright Data).
🔹CCPA/CPRA и другие законы о защите ПД: уведомление, право на отказ, ограничение целей обработки.
🔹HIPAA, COPPA и др. при сборе данных о здоровье или детях.
🔹Законодательство о защите коммерческой тайны, защите IP.
#LawAndDisorder
———-
@pattern_ai
Веб-скраппинг — это автоматический сбор данных с общедоступных веб-сайтов.
Да, он пока легален, если учитывать риски и соблюдать законодательство, дискуссии и судебные баталии продолжаются (н-р, штраф Clearview на $7,5 млн. от ICO, Reddit v Anthropic, Bartz v Anthropic ).
👀 Смотрим по популярным юрисдикциям.
ЕС:
GDPR - сбор данных на законных основаниях, только необходимые, релевантные, соблюдение принципа минимизации, особые требования к чувствительным категориям данных и тп.
ePrivacy Directive (2002/58/EC) - метаданные, файлы cookies, электронная коммуникация. Может ограничивать автоматизированный сбор информации из мессенджеров и email.
Directive (EU) 2019/790 on Copyright in the Digital Single Market — запрещает копирование контента защищённого авторским правом. Исключения применимы только к научным и некоммерческим целям.
Regulation (EU) 2018/1807 on Free Flow of Non-Personal Data — важен при передаче гибридных наборов данных (личных + неличных) между странами ЕС.
В июне французский CNIL выпустил рекомендации по веб-скраппингу:
🔹Соблюдать правила robots.txt, CAPTCHA и условия использования сайтов, т.е. не собирать данные с сайтов, явно запрещающих скраппинг.
🔹Избегать сканирования сайтов, предназначенных для несовершеннолетних и содержащих чувствительные данные.
🔹Автоматически удалять персональные или чувствительные данные после сбора. Остаточный и непреднамеренный сбор конфиденциальных данных, несмотря на меры предосторожности, сам по себе не является незаконным (CJEU-136/17), как только контролеру становится известно об обработке - обеспечить немедленное удаление, по возможности используя автоматизированные средства.
🔹Обеспечивать возможность отказа (opt-out) и прозрачность.
🔹Удалять нерелевантные данные, собранные по ошибке, сразу после их обнаружения.
🔹Уважать разумные ожидания пользователя (характер отношений между субъектами данных и контролёром; явные ограничения, налагаемые веб-сайтами; характер исходного веб-сайта (например, социальные сети, форумы); тип контента (например, публикация в общедоступном блоге или публикация в социальной сети с ограниченным доступом).
Напомню, что еще в отчете EDPB ChatGPT Taskforce (2024) указывалось на то, что публичность данных не означает, что субъект данных явно сделал их публичными, необходим баланс интересов контроллера с правами пользователей, ожидания пользователя играют ключевую роль.
Великобритания
Позиция ICO:
🔹Требуется наличие законного основания (например, законный интерес).
🔹 Необходимость и соразмерность должны быть обоснованы.
🔹Требуется прозрачность и обеспечение прав субъектов данных.
США
🔹Веб-скраппинг не запрещён напрямую.
🔹 Computer Fraud & Abuse Act (CFAA) не применяется к скраппингу открытых данных (hiQ v. LinkedIn). Но сбор данных после получения уведомления о прекращении противоправных действий или обход явных блокировок (например, запретов по IP-адресам или логинам) может квалифицироваться как несанкционированный доступ (Power Ventures v. Facebook).
🔹Нарушение условий не делает скраппинг незаконным (Meta v. Bright Data).
🔹CCPA/CPRA и другие законы о защите ПД: уведомление, право на отказ, ограничение целей обработки.
🔹HIPAA, COPPA и др. при сборе данных о здоровье или детях.
🔹Законодательство о защите коммерческой тайны, защите IP.
#LawAndDisorder
———-
@pattern_ai