Polit-Scraper (Antifaschistisches Info-Tool Rottal-Inn)

Ein automatisiertes Überwachungswerkzeug für Webseiten und Nachrichtenportale, spezialisiert auf die Erkennung von rechten Aktivitäten, staatlicher Repression und linker Solidarität im Raum Niederbayern.

🚀 Kernfunktionen

Intelligente KI-Analyse: Nutzt die Gemini-CLI, um Textänderungen aus einer dezidiert linken, antifaschistischen Perspektive zu bewerten.
Geografische Hierarchie: Priorisiert Meldungen aus dem Kerngebiet (Pfarrkirchen, Eggenfelden) und dem Landkreis Rottal-Inn.
Cloudflare-Bypass: Dank cloudscraper werden auch geschützte Seiten zuverlässig ausgelesen.
Worker-Architektur: Modulares Design mit parallelen Analyzer-Instanzen (konfigurierbar) und dediziertem Notifier.
Effiziente Datenhaltung: Nutzt eine SQLite-Datenbank zur Verwaltung von Analyse-Jobs und deren Status.
ntfy- & Signal-Benachrichtigungen:
- Public Kanal: Relevante politische News.
- Admin Kanal: Technische Fehler, Website-Ausfälle und Statusmeldungen (Passwort-geschützt).

🛠 Technische Details

Sprache: Python 3
Bibliotheken: cloudscraper, BeautifulSoup4, requests
KI-Integration: Gemini Pro via CLI
Datenhaltung: SQLite (polit_scraper.db)
Konfiguration: urls.txt (Ziel-URLs), gemini_instructions.md (KI-Regelwerk) und .env (Zugangsdaten & Einstellungen)

📋 Installation & Setup

Abhängigkeiten installieren:

pip install cloudscraper beautifulsoup4 requests --break-system-packages

Konfiguration (.env): Erstelle eine .env-Datei basierend auf .env.example und setze deine Zugangsdaten sowie MAX_ANALYZER_WORKERS.
Ziele definieren: URLs in die urls.txt eintragen (eine pro Zeile).
Starten: Der crawler.py steuert automatisch die Analyzer-Worker und den Notifier:
```
python3 crawler.py
```
Überwachung: Nutze den Live-Monitor für den Status der Abarbeitung:
```
python3 monitor.py
```

KI-Regelwerk testen

Du kannst die KI-Analyse und dein Regelwerk (gemini_instructions.md) manuell testen, ohne Einträge in der Datenbank zu erzeugen oder Benachrichtigungen zu senden:

python3 analyzer.py --test

Gib den zu prüfenden Text im Terminal ein und beende die Eingabe mit Strg+D. Das Resultat der KI wird direkt ausgegeben.

⚖️ Lizenz & Zweck

Dieses Tool dient ausschließlich der antifaschistischen Informationsarbeit und dem Monitoring politischer Gegner.

2.5 KiB Raw Blame History