9e8ea3e06be2cced15018971b25cdb40605d142a
Polit-Scraper (Antifaschistisches Info-Tool Rottal-Inn)
Ein automatisiertes Überwachungswerkzeug für Webseiten und Nachrichtenportale, spezialisiert auf die Erkennung von rechten Aktivitäten, staatlicher Repression und linker Solidarität im Raum Niederbayern.
🚀 Kernfunktionen
- Intelligente KI-Analyse: Nutzt die Gemini-CLI, um Textänderungen aus einer dezidiert linken, antifaschistischen Perspektive zu bewerten.
- Geografische Hierarchie: Priorisiert Meldungen aus dem Kerngebiet (Pfarrkirchen, Eggenfelden) und dem Landkreis Rottal-Inn.
- Cloudflare-Bypass: Dank
cloudscraperwerden auch geschützte Seiten zuverlässig ausgelesen. - Worker-Architektur: Modulares Design mit parallelen Analyzer-Instanzen (konfigurierbar) und dediziertem Notifier.
- Effiziente Datenhaltung: Nutzt eine SQLite-Datenbank zur Verwaltung von Analyse-Jobs und deren Status.
- ntfy- & Signal-Benachrichtigungen:
- Public Kanal: Relevante politische News.
- Admin Kanal: Technische Fehler, Website-Ausfälle und Statusmeldungen (Passwort-geschützt).
🛠 Technische Details
- Sprache: Python 3
- Bibliotheken:
cloudscraper,BeautifulSoup4,requests - KI-Integration: Gemini Pro via CLI
- Datenhaltung: SQLite (
polit_scraper.db) - Konfiguration:
urls.txt(Ziel-URLs),gemini_instructions.md(KI-Regelwerk) und.env(Zugangsdaten & Einstellungen)
📋 Installation & Setup
- Abhängigkeiten installieren:
pip install cloudscraper beautifulsoup4 requests --break-system-packages - Konfiguration (
.env): Erstelle eine.env-Datei basierend auf.env.exampleund setze deine Zugangsdaten sowieMAX_ANALYZER_WORKERS. - Ziele definieren:
URLs in die
urls.txteintragen (eine pro Zeile). - Starten:
Der
crawler.pysteuert automatisch die Analyzer-Worker und den Notifier:python3 crawler.py - Überwachung:
Nutze den Live-Monitor für den Status der Abarbeitung:
python3 monitor.py
KI-Regelwerk testen
Du kannst die KI-Analyse und dein Regelwerk (gemini_instructions.md) manuell testen, ohne Einträge in der Datenbank zu erzeugen oder Benachrichtigungen zu senden:
python3 analyzer.py --test
Gib den zu prüfenden Text im Terminal ein und beende die Eingabe mit Strg+D. Das Resultat der KI wird direkt ausgegeben.
⚖️ Lizenz & Zweck
Dieses Tool dient ausschließlich der antifaschistischen Informationsarbeit und dem Monitoring politischer Gegner.
Description
Languages
Python
100%