54 lines
2.5 KiB
Markdown
54 lines
2.5 KiB
Markdown
# Polit-Scraper (Antifaschistisches Info-Tool Rottal-Inn)
|
|
|
|
Ein automatisiertes Überwachungswerkzeug für Webseiten und Nachrichtenportale, spezialisiert auf die Erkennung von rechten Aktivitäten, staatlicher Repression und linker Solidarität im Raum Niederbayern.
|
|
|
|
## 🚀 Kernfunktionen
|
|
|
|
- **Intelligente KI-Analyse:** Nutzt die Gemini-CLI, um Textänderungen aus einer dezidiert linken, antifaschistischen Perspektive zu bewerten.
|
|
- **Geografische Hierarchie:** Priorisiert Meldungen aus dem Kerngebiet (Pfarrkirchen, Eggenfelden) und dem Landkreis Rottal-Inn.
|
|
- **Cloudflare-Bypass:** Dank `cloudscraper` werden auch geschützte Seiten zuverlässig ausgelesen.
|
|
- **Worker-Architektur:** Modulares Design mit parallelen Analyzer-Instanzen (konfigurierbar) und dediziertem Notifier.
|
|
- **Effiziente Datenhaltung:** Nutzt eine SQLite-Datenbank zur Verwaltung von Analyse-Jobs und deren Status.
|
|
- **ntfy- & Signal-Benachrichtigungen:**
|
|
- **Public Kanal:** Relevante politische News.
|
|
- **Admin Kanal:** Technische Fehler, Website-Ausfälle und Statusmeldungen (Passwort-geschützt).
|
|
|
|
## 🛠 Technische Details
|
|
|
|
- **Sprache:** Python 3
|
|
- **Bibliotheken:** `cloudscraper`, `BeautifulSoup4`, `requests`
|
|
- **KI-Integration:** Gemini Pro via CLI
|
|
- **Datenhaltung:** SQLite (`polit_scraper.db`)
|
|
- **Konfiguration:** `urls.txt` (Ziel-URLs), `gemini_instructions.md` (KI-Regelwerk) und `.env` (Zugangsdaten & Einstellungen)
|
|
|
|
## 📋 Installation & Setup
|
|
|
|
1. **Abhängigkeiten installieren:**
|
|
```bash
|
|
pip install cloudscraper beautifulsoup4 requests --break-system-packages
|
|
```
|
|
2. **Konfiguration (`.env`):**
|
|
Erstelle eine `.env`-Datei basierend auf `.env.example` und setze deine Zugangsdaten sowie `MAX_ANALYZER_WORKERS`.
|
|
3. **Ziele definieren:**
|
|
URLs in die `urls.txt` eintragen (eine pro Zeile).
|
|
4. **Starten:**
|
|
Der `crawler.py` steuert automatisch die Analyzer-Worker und den Notifier:
|
|
```bash
|
|
python3 crawler.py
|
|
```
|
|
5. **Überwachung:**
|
|
Nutze den Live-Monitor für den Status der Abarbeitung:
|
|
```bash
|
|
python3 monitor.py
|
|
```
|
|
|
|
### KI-Regelwerk testen
|
|
Du kannst die KI-Analyse und dein Regelwerk (`gemini_instructions.md`) manuell testen, ohne Einträge in der Datenbank zu erzeugen oder Benachrichtigungen zu senden:
|
|
```bash
|
|
python3 analyzer.py --test
|
|
```
|
|
Gib den zu prüfenden Text im Terminal ein und beende die Eingabe mit **Strg+D**. Das Resultat der KI wird direkt ausgegeben.
|
|
|
|
## ⚖️ Lizenz & Zweck
|
|
Dieses Tool dient ausschließlich der antifaschistischen Informationsarbeit und dem Monitoring politischer Gegner.
|