Debian Codegraph @

recipes/spiegelde.recipe

raw
1 #!/usr/bin/env python
2 # License: 'CC-BY-4.0'
3 # Copyright: '2019, vohe Based on the recipe by Darko Miletic <darko.miletic at gmail.com>'
4
5 from calibre.web.feeds.news import BasicNewsRecipe
6
7 '''
8 spiegel germany free newsfeed
9 its free, read here: http://www.spiegel.de/dienste/besser-surfen-auf-spiegel-online-so-funktioniert-rss-a-1040321.html
10 this: ... Sie können unsere Nachrichten-Feeds kostenlos abonnieren - ...
11 '''
12 '''
13 feel free to modify this to your own needs
14 '''
15
16
17 class Spiegel_DE_all(BasicNewsRecipe):
18 # Title of the Recipe
19 title = 'Spiegel Online RSS - German alle Themen'
20 # Author
21 __author__ = 'Volker Heggemann, VoHe'
22 # oldest article to download (in days) ---- can be edit by user
23 # be careful, if there is a lot of news, the file size exceeds!
24 oldest_article = 7
25 # describes itself, ---- can be edit by user
26 max_articles_per_feed = 100
27 # speed up the download on fast computers be careful (I test max.20)
28 # ---- can be edit by user
29 simultaneous_downloads = 10
30 # description, some Reader show this in titlepage
31 # add date to description so for dayly downloads you can find them easier
32 # ---- can be edit by user
33 # description = (
34 # "Ständig die neueste Meldung auf dem Schirm, sekundenaktuell und übersichtlich: Mit unserem RSS-Angebot entgeht Ihnen keine wichtige Meldung,"
35 # "selbst wenn Sie keinen Internet-Browser geöffnet haben. Sie können unsere Nachrichten-Feeds kostenlos abonnieren - nach Ihren Themenvorlieben.")
36 # above a long description, but we use a shorter one
37 description = 'Spiegel Online RSS News'
38 # Who published the content?
39 publisher = 'SPIEGEL ONLINE Gmbh'
40 cover_url = 'https://de.m.wikipedia.org/wiki/Datei:Spiegel_Online_logo.svg'
41 # What is the content of?
42 category = 'SPIEGEL ONLINE RSS'
43 # describes itself, ---- can be edit by user
44 language = 'de'
45 lang = 'de-DE'
46 no_stylesheets = True
47 # describes itself, ---- can be edit by user
48 use_embedded_content = False
49 # encoding of content. e.g. utf-8, None, ...
50 # ---- can be edit by user
51 encoding = 'UTF-8' # AGe 2016-05-09 old: cp1252
52 # Removes javascript- why keep this, we only want static content
53 remove_javascript = True
54 # Removes empty feeds - why keep them!?
55 remove_empty_feeds = True
56 resolve_internal_links = True
57 # remove the rubbish (in ebook)
58 auto_cleanup = True
59 # now the content description and URL follows
60 # feel free to add, wipe out what you need ---- can be edit by user
61 #
62 # Make some tests, may you first comment all of them out, and step by step you add what you'll need?
63 #
64 '''
65 keep_only_tags = [
66 dict(name='h2', attrs={'class': 'article-title'}),
67 dict(id=['js-article-top-wide-asset', 'js-article-column']),
68 ]
69 '''
70 remove_tags = [
71 dict(attrs={'class': lambda x: x and 'asset-html-box' in x.split()}),
72 dict(attrs={'class': lambda x: x and 'article-social-bookmark' in x.split()}),
73 dict(attrs={'class': lambda x: x and 'article-newsfeed-box' in x.split()}),
74 dict(attrs={'class': lambda x: x and 'article-comments-box' in x.split()}),
75 dict(attrs={'class': lambda x: x and 'article-functions-bottom' in x.split()}),
76 ]
77
78 # omit articles already linked in Schlagzeilen feed
79 ignore_duplicate_articles = {'title', 'url'}
80
81 conversion_options = {'comment': description, 'tags': category, 'publisher': publisher, 'language': lang}
82
83 feeds = [ # Content / Inhalt
84 # Add or Remove the '#' symbol in front of line, to get or discard this rss-feed
85 # de: lösche oder füge am Anfang jeder Zeile das # Zeichen. Damit wird die Zeile entfernt oder
86 # hinugefügt und damit der Inhalt im Text erscheinen.
87 #
88 # ---- each line can be edit by user
89 # de: jede Zeile kann verändert werden.
90 #
91 # Sample:
92 # Theme of the following news
93 # (u'Alle Ressort',u'http://www.spiegel.de/schlagzeilen/index.rss'),
94 # Beispiel
95 # Theme of the following news
96 # (u'Spiegel Online', u'http://www.spiegel.de/schlagzeilen/index.rss'),
97 #
98 #
99 # "Alles" enthält die Themen Politik, Wirtschaft, Panorama , uws....
100 # wenn Sie alles und die Unterthemen wählen, dann erscheinen News doppelt.
101 #
102 # Alles
103 # (u'Spiegel Online alle Schlagzeilen', u'http://www.spiegel.de/schlagzeilen/index.rss'),
104 # (u'Spiegel Online nur Topnews',u'http://www.spiegel.de/schlagzeilen/tops/index.rss'),
105 # (u'Spiegel Online nur Eilmeldungen', u'http://www.spiegel.de/schlagzeilen/eilmeldungen/index.rss'),
106 # (u'Spiegel Online alle Videos',u'http://www.spiegel.de/video/index.rss'),
107 # Politik / Politics
108 # (u'Politics global',u'http://www.spiegel.de/politik/index.rss'),
109 ('Politics foreign countries', 'http://www.spiegel.de/politik/ausland/index.rss'),
110 ('Politik DE', 'http://www.spiegel.de/politik/deutschland/index.rss'),
111 # Wirtschaft / economy
112 # (u'Wirtschaft alles', u'http://www.spiegel.de/wirtschaft/index.rss'),
113 ('Wirtschaft Verbraucher und Service', 'http://www.spiegel.de/wirtschaft/service/index.rss'),
114 ('Wirtschaft Unternehmen und Märkte', 'http://www.spiegel.de/wirtschaft/unternehmen/index.rss'),
115 ('Wirtschaft Staat und Soziales', 'http://www.spiegel.de/wirtschaft/soziales/index.rss'),
116 ('Wirtschaft Videos aus Politik und Wirtschaft', 'http://www.spiegel.de/video/politik_wirtschaft/index.rss'),
117 # Panorama / panorama (overview)
118 # (u'Panorama alles', u'http://www.spiegel.de/panorama/index.rss'),
119 ('Panorama Justiz', 'http://www.spiegel.de/panorama/justiz/index.rss'),
120 ('Panorama Gesellschaft', 'http://www.spiegel.de/panorama/gesellschaft/index.rss'),
121 ('Panorama Leute', 'http://www.spiegel.de/panorama/leute/index.rss'),
122 ('Panorama Videos aus Panorama', 'http://www.spiegel.de/video/panorama/index.rss'),
123 # Sport / Sports
124 ('Sport alles', 'http://www.spiegel.de/sport/index.rss'),
125 # (u'Sport Fußball', u'http://www.spiegel.de/sport/fussball/index.rss'),
126 # (u'Sport Formel1', u'http://www.spiegel.de/sport/formel1/index.rss'),
127 # (u'Sport Videos', u'http://www.spiegel.de/video/sport/index.rss'),
128 # Kultur / culture
129 # (u'Kultur alles', u'http://www.spiegel.de/kultur/index.rss'),
130 ('Kultur Kino', 'http://www.spiegel.de/kultur/kino/index.rss'),
131 ('Kultur Musik', 'http://www.spiegel.de/kultur/musik/index.rss'),
132 ('Kultur TV', 'http://www.spiegel.de/kultur/tv/index.rss'),
133 ('Kultur Literatur', 'http://www.spiegel.de/kultur/literatur/index.rss'),
134 ('Kultur Videos zu Kino', 'http://www.spiegel.de/video/kino/index.rss'),
135 ('Kultur Videos zu Kultur', 'http://www.spiegel.de/video/kultur/index.rss'),
136 # Netzwelt / TheNet
137 # (u'Netzwelt alles', u'http://www.spiegel.de/netzwelt/index.rss'),
138 ('Netzwelt Politk', 'http://www.spiegel.de/netzwelt/netzpolitik/index.rss'),
139 ('Netzwelt TheWeb', 'http://www.spiegel.de/netzwelt/web/index.rss'),
140 ('Netzwelt Gadgets', 'http://www.spiegel.de/netzwelt/gadgets/index.rss'),
141 ('Netzwelt Games', 'http://www.spiegel.de/netzwelt/games/index.rss'),
142 ('Videos zu Wissenschaft und Technik', 'http://www.spiegel.de/video/wissenschaft_technik/index.rss'),
143 # Foto
144 ('Fotografie', 'http://www.spiegel.de/thema/fotografie/index.rss'),
145 # Wissenschaft / Technologie
146 # (u'Wissenschaft alles', u'http://www.spiegel.de/wissenschaft/index.rss'),
147 ('Wissenschaft Mensch', 'http://www.spiegel.de/wissenschaft/mensch/index.rss'),
148 ('Wissenschaft Natur', 'http://www.spiegel.de/wissenschaft/natur/index.rss'),
149 ('Wissenschaft Technik', 'http://www.spiegel.de/wissenschaft/technik/index.rss'),
150 ('Wissenschaft Weltall', 'http://www.spiegel.de/wissenschaft/weltall/index.rss'),
151 ('Wissenschaft Medizin', 'http://www.spiegel.de/wissenschaft/medizin/index.rss'),
152 ('Videos zu Wissenschaft', 'http://www.spiegel.de/video/wissenschaft_technik/index.rss'),
153 # Gesundheit / Health
154 # (u'Gesundheit alles', u'http://www.spiegel.de/gesundheit/index.rss'),
155 ('Gesundheit Diagnose und Therapie', 'http://www.spiegel.de/gesundheit/diagnose/index.rss'),
156 ('Gesundheit Ernährung und Fitness', 'http://www.spiegel.de/gesundheit/ernaehrung/index.rss'),
157 ('Gesundheit Psychologie', 'http://www.spiegel.de/gesundheit/psychologie/index.rss'),
158 ('Gesundheit Sex und Partnerschaft', 'http://www.spiegel.de/gesundheit/sex/index.rss'),
159 ('Gesundheit Schwangerschaft und Kind', 'http://www.spiegel.de/gesundheit/schwangerschaft/index.rss'),
160 # Karriere / Career
161 # (u'Karriere alles', u'http://www.spiegel.de/karriere/index.rss'),
162 ('Karriere Berufsstart', 'http://www.spiegel.de/karriere/berufsstart/index.rss'),
163 ('Karriere Beruf', 'http://www.spiegel.de/karriere/berufsleben/index.rss'),
164 ('Karriere Ausland', 'http://www.spiegel.de/karriere/ausland/index.rss'),
165 # Uni und Schule
166 ('Uni und Schule', 'http://www.spiegel.de/unispiegel/index.rss'),
167 # Reise / Travel
168 # (u'Reise alles', u'http://www.spiegel.de/reise/index.rss'),
169 ('Reise Städte', 'http://www.spiegel.de/reise/staedte/index.rss'),
170 ('Reise Detuschland', 'http://www.spiegel.de/reise/deutschland/index.rss'),
171 ('Reise Europa', 'http://www.spiegel.de/reise/europa/index.rss'),
172 ('Reise Fernweh', 'http://www.spiegel.de/reise/fernweh/index.rss'),
173 # Auto
174 ('Auto', 'http://www.spiegel.de/auto/index.rss'),
175 ]