| 1 |
#!/usr/bin/env python |
| 2 |
# License: 'CC-BY-4.0' |
| 3 |
# Copyright: '2019, vohe Based on the recipe by Darko Miletic <darko.miletic at gmail.com>' |
| 4 |
|
| 5 |
from calibre.web.feeds.news import BasicNewsRecipe |
| 6 |
|
| 7 |
''' |
| 8 |
spiegel germany free newsfeed |
| 9 |
its free, read here: http://www.spiegel.de/dienste/besser-surfen-auf-spiegel-online-so-funktioniert-rss-a-1040321.html |
| 10 |
this: ... Sie können unsere Nachrichten-Feeds kostenlos abonnieren - ... |
| 11 |
''' |
| 12 |
''' |
| 13 |
feel free to modify this to your own needs |
| 14 |
''' |
| 15 |
|
| 16 |
|
| 17 |
class Spiegel_DE_all(BasicNewsRecipe): |
| 18 |
# Title of the Recipe |
| 19 |
title = 'Spiegel Online RSS - German alle Themen' |
| 20 |
# Author |
| 21 |
__author__ = 'Volker Heggemann, VoHe' |
| 22 |
# oldest article to download (in days) ---- can be edit by user |
| 23 |
# be careful, if there is a lot of news, the file size exceeds! |
| 24 |
oldest_article = 7 |
| 25 |
# describes itself, ---- can be edit by user |
| 26 |
max_articles_per_feed = 100 |
| 27 |
# speed up the download on fast computers be careful (I test max.20) |
| 28 |
# ---- can be edit by user |
| 29 |
simultaneous_downloads = 10 |
| 30 |
# description, some Reader show this in titlepage |
| 31 |
# add date to description so for dayly downloads you can find them easier |
| 32 |
# ---- can be edit by user |
| 33 |
# description = ( |
| 34 |
# "Ständig die neueste Meldung auf dem Schirm, sekundenaktuell und übersichtlich: Mit unserem RSS-Angebot entgeht Ihnen keine wichtige Meldung," |
| 35 |
# "selbst wenn Sie keinen Internet-Browser geöffnet haben. Sie können unsere Nachrichten-Feeds kostenlos abonnieren - nach Ihren Themenvorlieben.") |
| 36 |
# above a long description, but we use a shorter one |
| 37 |
description = 'Spiegel Online RSS News' |
| 38 |
# Who published the content? |
| 39 |
publisher = 'SPIEGEL ONLINE Gmbh' |
| 40 |
cover_url = 'https://de.m.wikipedia.org/wiki/Datei:Spiegel_Online_logo.svg' |
| 41 |
# What is the content of? |
| 42 |
category = 'SPIEGEL ONLINE RSS' |
| 43 |
# describes itself, ---- can be edit by user |
| 44 |
language = 'de' |
| 45 |
lang = 'de-DE' |
| 46 |
no_stylesheets = True |
| 47 |
# describes itself, ---- can be edit by user |
| 48 |
use_embedded_content = False |
| 49 |
# encoding of content. e.g. utf-8, None, ... |
| 50 |
# ---- can be edit by user |
| 51 |
encoding = 'UTF-8' # AGe 2016-05-09 old: cp1252 |
| 52 |
# Removes javascript- why keep this, we only want static content |
| 53 |
remove_javascript = True |
| 54 |
# Removes empty feeds - why keep them!? |
| 55 |
remove_empty_feeds = True |
| 56 |
resolve_internal_links = True |
| 57 |
# remove the rubbish (in ebook) |
| 58 |
auto_cleanup = True |
| 59 |
# now the content description and URL follows |
| 60 |
# feel free to add, wipe out what you need ---- can be edit by user |
| 61 |
# |
| 62 |
# Make some tests, may you first comment all of them out, and step by step you add what you'll need? |
| 63 |
# |
| 64 |
''' |
| 65 |
keep_only_tags = [ |
| 66 |
dict(name='h2', attrs={'class': 'article-title'}), |
| 67 |
dict(id=['js-article-top-wide-asset', 'js-article-column']), |
| 68 |
] |
| 69 |
''' |
| 70 |
remove_tags = [ |
| 71 |
dict(attrs={'class': lambda x: x and 'asset-html-box' in x.split()}), |
| 72 |
dict(attrs={'class': lambda x: x and 'article-social-bookmark' in x.split()}), |
| 73 |
dict(attrs={'class': lambda x: x and 'article-newsfeed-box' in x.split()}), |
| 74 |
dict(attrs={'class': lambda x: x and 'article-comments-box' in x.split()}), |
| 75 |
dict(attrs={'class': lambda x: x and 'article-functions-bottom' in x.split()}), |
| 76 |
] |
| 77 |
|
| 78 |
# omit articles already linked in Schlagzeilen feed |
| 79 |
ignore_duplicate_articles = {'title', 'url'} |
| 80 |
|
| 81 |
conversion_options = {'comment': description, 'tags': category, 'publisher': publisher, 'language': lang} |
| 82 |
|
| 83 |
feeds = [ # Content / Inhalt |
| 84 |
# Add or Remove the '#' symbol in front of line, to get or discard this rss-feed |
| 85 |
# de: lösche oder füge am Anfang jeder Zeile das # Zeichen. Damit wird die Zeile entfernt oder |
| 86 |
# hinugefügt und damit der Inhalt im Text erscheinen. |
| 87 |
# |
| 88 |
# ---- each line can be edit by user |
| 89 |
# de: jede Zeile kann verändert werden. |
| 90 |
# |
| 91 |
# Sample: |
| 92 |
# Theme of the following news |
| 93 |
# (u'Alle Ressort',u'http://www.spiegel.de/schlagzeilen/index.rss'), |
| 94 |
# Beispiel |
| 95 |
# Theme of the following news |
| 96 |
# (u'Spiegel Online', u'http://www.spiegel.de/schlagzeilen/index.rss'), |
| 97 |
# |
| 98 |
# |
| 99 |
# "Alles" enthält die Themen Politik, Wirtschaft, Panorama , uws.... |
| 100 |
# wenn Sie alles und die Unterthemen wählen, dann erscheinen News doppelt. |
| 101 |
# |
| 102 |
# Alles |
| 103 |
# (u'Spiegel Online alle Schlagzeilen', u'http://www.spiegel.de/schlagzeilen/index.rss'), |
| 104 |
# (u'Spiegel Online nur Topnews',u'http://www.spiegel.de/schlagzeilen/tops/index.rss'), |
| 105 |
# (u'Spiegel Online nur Eilmeldungen', u'http://www.spiegel.de/schlagzeilen/eilmeldungen/index.rss'), |
| 106 |
# (u'Spiegel Online alle Videos',u'http://www.spiegel.de/video/index.rss'), |
| 107 |
# Politik / Politics |
| 108 |
# (u'Politics global',u'http://www.spiegel.de/politik/index.rss'), |
| 109 |
('Politics foreign countries', 'http://www.spiegel.de/politik/ausland/index.rss'), |
| 110 |
('Politik DE', 'http://www.spiegel.de/politik/deutschland/index.rss'), |
| 111 |
# Wirtschaft / economy |
| 112 |
# (u'Wirtschaft alles', u'http://www.spiegel.de/wirtschaft/index.rss'), |
| 113 |
('Wirtschaft Verbraucher und Service', 'http://www.spiegel.de/wirtschaft/service/index.rss'), |
| 114 |
('Wirtschaft Unternehmen und Märkte', 'http://www.spiegel.de/wirtschaft/unternehmen/index.rss'), |
| 115 |
('Wirtschaft Staat und Soziales', 'http://www.spiegel.de/wirtschaft/soziales/index.rss'), |
| 116 |
('Wirtschaft Videos aus Politik und Wirtschaft', 'http://www.spiegel.de/video/politik_wirtschaft/index.rss'), |
| 117 |
# Panorama / panorama (overview) |
| 118 |
# (u'Panorama alles', u'http://www.spiegel.de/panorama/index.rss'), |
| 119 |
('Panorama Justiz', 'http://www.spiegel.de/panorama/justiz/index.rss'), |
| 120 |
('Panorama Gesellschaft', 'http://www.spiegel.de/panorama/gesellschaft/index.rss'), |
| 121 |
('Panorama Leute', 'http://www.spiegel.de/panorama/leute/index.rss'), |
| 122 |
('Panorama Videos aus Panorama', 'http://www.spiegel.de/video/panorama/index.rss'), |
| 123 |
# Sport / Sports |
| 124 |
('Sport alles', 'http://www.spiegel.de/sport/index.rss'), |
| 125 |
# (u'Sport Fußball', u'http://www.spiegel.de/sport/fussball/index.rss'), |
| 126 |
# (u'Sport Formel1', u'http://www.spiegel.de/sport/formel1/index.rss'), |
| 127 |
# (u'Sport Videos', u'http://www.spiegel.de/video/sport/index.rss'), |
| 128 |
# Kultur / culture |
| 129 |
# (u'Kultur alles', u'http://www.spiegel.de/kultur/index.rss'), |
| 130 |
('Kultur Kino', 'http://www.spiegel.de/kultur/kino/index.rss'), |
| 131 |
('Kultur Musik', 'http://www.spiegel.de/kultur/musik/index.rss'), |
| 132 |
('Kultur TV', 'http://www.spiegel.de/kultur/tv/index.rss'), |
| 133 |
('Kultur Literatur', 'http://www.spiegel.de/kultur/literatur/index.rss'), |
| 134 |
('Kultur Videos zu Kino', 'http://www.spiegel.de/video/kino/index.rss'), |
| 135 |
('Kultur Videos zu Kultur', 'http://www.spiegel.de/video/kultur/index.rss'), |
| 136 |
# Netzwelt / TheNet |
| 137 |
# (u'Netzwelt alles', u'http://www.spiegel.de/netzwelt/index.rss'), |
| 138 |
('Netzwelt Politk', 'http://www.spiegel.de/netzwelt/netzpolitik/index.rss'), |
| 139 |
('Netzwelt TheWeb', 'http://www.spiegel.de/netzwelt/web/index.rss'), |
| 140 |
('Netzwelt Gadgets', 'http://www.spiegel.de/netzwelt/gadgets/index.rss'), |
| 141 |
('Netzwelt Games', 'http://www.spiegel.de/netzwelt/games/index.rss'), |
| 142 |
('Videos zu Wissenschaft und Technik', 'http://www.spiegel.de/video/wissenschaft_technik/index.rss'), |
| 143 |
# Foto |
| 144 |
('Fotografie', 'http://www.spiegel.de/thema/fotografie/index.rss'), |
| 145 |
# Wissenschaft / Technologie |
| 146 |
# (u'Wissenschaft alles', u'http://www.spiegel.de/wissenschaft/index.rss'), |
| 147 |
('Wissenschaft Mensch', 'http://www.spiegel.de/wissenschaft/mensch/index.rss'), |
| 148 |
('Wissenschaft Natur', 'http://www.spiegel.de/wissenschaft/natur/index.rss'), |
| 149 |
('Wissenschaft Technik', 'http://www.spiegel.de/wissenschaft/technik/index.rss'), |
| 150 |
('Wissenschaft Weltall', 'http://www.spiegel.de/wissenschaft/weltall/index.rss'), |
| 151 |
('Wissenschaft Medizin', 'http://www.spiegel.de/wissenschaft/medizin/index.rss'), |
| 152 |
('Videos zu Wissenschaft', 'http://www.spiegel.de/video/wissenschaft_technik/index.rss'), |
| 153 |
# Gesundheit / Health |
| 154 |
# (u'Gesundheit alles', u'http://www.spiegel.de/gesundheit/index.rss'), |
| 155 |
('Gesundheit Diagnose und Therapie', 'http://www.spiegel.de/gesundheit/diagnose/index.rss'), |
| 156 |
('Gesundheit Ernährung und Fitness', 'http://www.spiegel.de/gesundheit/ernaehrung/index.rss'), |
| 157 |
('Gesundheit Psychologie', 'http://www.spiegel.de/gesundheit/psychologie/index.rss'), |
| 158 |
('Gesundheit Sex und Partnerschaft', 'http://www.spiegel.de/gesundheit/sex/index.rss'), |
| 159 |
('Gesundheit Schwangerschaft und Kind', 'http://www.spiegel.de/gesundheit/schwangerschaft/index.rss'), |
| 160 |
# Karriere / Career |
| 161 |
# (u'Karriere alles', u'http://www.spiegel.de/karriere/index.rss'), |
| 162 |
('Karriere Berufsstart', 'http://www.spiegel.de/karriere/berufsstart/index.rss'), |
| 163 |
('Karriere Beruf', 'http://www.spiegel.de/karriere/berufsleben/index.rss'), |
| 164 |
('Karriere Ausland', 'http://www.spiegel.de/karriere/ausland/index.rss'), |
| 165 |
# Uni und Schule |
| 166 |
('Uni und Schule', 'http://www.spiegel.de/unispiegel/index.rss'), |
| 167 |
# Reise / Travel |
| 168 |
# (u'Reise alles', u'http://www.spiegel.de/reise/index.rss'), |
| 169 |
('Reise Städte', 'http://www.spiegel.de/reise/staedte/index.rss'), |
| 170 |
('Reise Detuschland', 'http://www.spiegel.de/reise/deutschland/index.rss'), |
| 171 |
('Reise Europa', 'http://www.spiegel.de/reise/europa/index.rss'), |
| 172 |
('Reise Fernweh', 'http://www.spiegel.de/reise/fernweh/index.rss'), |
| 173 |
# Auto |
| 174 |
('Auto', 'http://www.spiegel.de/auto/index.rss'), |
| 175 |
] |