# Polit-Scraper (Antifaschistisches Info-Tool Rottal-Inn)

Ein automatisiertes Überwachungswerkzeug für Webseiten und Nachrichtenportale, spezialisiert auf die Erkennung von rechten Aktivitäten, staatlicher Repression und linker Solidarität im Raum Niederbayern.

## 🚀 Kernfunktionen

- **Intelligente KI-Analyse:** Nutzt die Gemini-CLI, um Textänderungen aus einer dezidiert linken, antifaschistischen Perspektive zu bewerten.
- **Geografische Hierarchie:** Priorisiert Meldungen aus dem Kerngebiet (Pfarrkirchen, Eggenfelden) und dem Landkreis Rottal-Inn.
- **Cloudflare-Bypass:** Dank `cloudscraper` werden auch geschützte Seiten zuverlässig ausgelesen.
- **Worker-Architektur:** Modulares Design mit parallelen Analyzer-Instanzen (konfigurierbar) und dediziertem Notifier.
- **Effiziente Datenhaltung:** Nutzt eine SQLite-Datenbank zur Verwaltung von Analyse-Jobs und deren Status.
- **ntfy- & Signal-Benachrichtigungen:**
  - **Public Kanal:** Relevante politische News.
  - **Admin Kanal:** Technische Fehler, Website-Ausfälle und Statusmeldungen (Passwort-geschützt).

## 🛠 Technische Details

- **Sprache:** Python 3
- **Bibliotheken:** `cloudscraper`, `BeautifulSoup4`, `requests`
- **KI-Integration:** Gemini Pro via CLI
- **Datenhaltung:** SQLite (`polit_scraper.db`)
- **Konfiguration:** `urls.txt` (Ziel-URLs), `gemini_instructions.md` (KI-Regelwerk) und `.env` (Zugangsdaten & Einstellungen)

## 📋 Installation & Setup

1. **Abhängigkeiten installieren:**
   ```bash
   pip install cloudscraper beautifulsoup4 requests --break-system-packages
   ```
2. **Konfiguration (`.env`):**
   Erstelle eine `.env`-Datei basierend auf `.env.example` und setze deine Zugangsdaten sowie `MAX_ANALYZER_WORKERS`.
3. **Ziele definieren:**
   URLs in die `urls.txt` eintragen (eine pro Zeile).
4. **Starten:**
   Der `crawler.py` steuert automatisch die Analyzer-Worker und den Notifier:
   ```bash
   python3 crawler.py
   ```
5. **Überwachung:**
   Nutze den Live-Monitor für den Status der Abarbeitung:
   ```bash
   python3 monitor.py
   ```

### KI-Regelwerk testen
Du kannst die KI-Analyse und dein Regelwerk (`gemini_instructions.md`) manuell testen, ohne Einträge in der Datenbank zu erzeugen oder Benachrichtigungen zu senden:
```bash
python3 analyzer.py --test
```
Gib den zu prüfenden Text im Terminal ein und beende die Eingabe mit **Strg+D**. Das Resultat der KI wird direkt ausgegeben.

## ⚖️ Lizenz & Zweck
Dieses Tool dient ausschließlich der antifaschistischen Informationsarbeit und dem Monitoring politischer Gegner.