⚡️
CyberScraper 2077 — когда обычного парсера уже недостаточноПродвинутый
веб-скрапер с поддержкой ИИ, который объединяет парсинг сайтов с возможностями
OpenAI, Gemini и Ollama. Вместо простого сбора HTML помогает анализировать контент и превращать полученную информацию в нормальные структурированные данные.
Что умеет:🖍 работать на
Windows и Linux, есть запуск через Docker;
🖍 предоставлять удобный интерфейс для настройки сбора данных;
🖍 подключать ИИ для
анализа и структурирования найденной информации;
🖍 экспортировать результат сразу в
JSON, CSV, HTML, SQL и Excel;
🖍 использовать
stealth-режим при работе с сайтами;
🖍 работать с CAPTCHA и другими препятствиями, которые могут встретиться при автоматизированном сборе данных.
💻 Чтобы ловко обходить капчи, защиту и глубже понимать контент, который вы собираетесь парсить.
🖥
Установка и запускПотребуется
Python 3.10+.
git clone
https://github.com/itsOwen/CyberScraper-2077.gitcd CyberScraper-2077
virtualenv venv
source venv/bin/activate
pip install -r requirements.txt
playwright install
Добавляем API-ключи:export OPENAI_API_KEY="ваш-ключ"
export GOOGLE_API_KEY="ваш-ключ"
▶️
Запускаем CyberScraper:streamlit run main.py
После запуска открываем:http://localhost:8501Также проект поддерживает
Ollama с локальными моделями и запуск через
Docker.
По сути, задаёте,
что именно хотите получить с сайта, запускаете сбор — а на выходе получаете уже подготовленные данные вместо необходимости вручную разбирать гору страниц.
💻 Отличная находка для тех, кто работает с
Python, автоматизацией, сбором больших объёмов информации и AI-агентами.
♎️
GitHub/Инструкция😳
Лайф | 📲
Зеркало Max#python #github #soft