Debian Codegraph @

recipes/sueddeutsche.recipe

raw
1 #!/usr/bin/env python
2 # vim:fileencoding=utf-8
3 """
4 Fetch sueddeutsche.de
5 """
6
7 from calibre.web.feeds.news import BasicNewsRecipe
8
9
10 class Sueddeutsche(BasicNewsRecipe):
11 title = 'Süddeutsche Zeitung'
12 __author__ = 'unkn0wn'
13 oldest_article = 1.2
14 masthead_url = 'https://upload.wikimedia.org/wikipedia/commons/4/42/S%C3%BCddeutsche_Zeitung_Logo.svg'
15 description = 'Deutschlands führende Nachrichtenseite. Alles Wichtige aus Politik, Wirtschaft, Sport, Kultur, Wissenschaft, Technik und mehr.'
16 encoding = 'utf-8'
17 language = 'de'
18 remove_attributes = ['style', 'height', 'width']
19 ignore_duplicate_articles = {'url'}
20 resolve_internal_links = True
21 remove_empty_feeds = True
22 no_javascript = True
23 no_stylesheets = True
24
25 recipe_specific_options = {
26 'days': {
27 'short': 'Oldest article to download from this news source. In days ',
28 'long': 'For example, 0.5, gives you articles from the past 12 hours',
29 'default': str(oldest_article),
30 }
31 }
32
33 def __init__(self, *args, **kwargs):
34 BasicNewsRecipe.__init__(self, *args, **kwargs)
35 d = self.recipe_specific_options.get('days')
36 if d and isinstance(d, str):
37 self.oldest_article = float(d)
38
39 extra_css = '''
40 [data-manual="overline"] { font-size:small; color: #404040; }
41 [data-manual="date"], [data-manual^="headerImageCaption"], [data-manual="author"] { font-size:small; }
42 [data-manual="teaserText"] { font-style:italic; color:#202020; }
43 blockquote, em { color: #202020; }
44 '''
45
46 def get_cover_url(self):
47 soup = self.index_to_soup('https://www.frontpages.com/germany-newspapers/')
48 for img in soup.findAll('img', src=True):
49 if 'suddeutsche-zeitung' in img['src']:
50 return 'https://www.frontpages.com' + img['src']
51
52 keep_only_tags = [
53 dict(attrs={'data-manual': ['overline', 'title', 'date', 'headerImage', 'teaserText', 'author', 'body']}),
54 ]
55 remove_tags = [dict(name=['svg', 'button', 'meta']), dict(attrs={'data-manual-remove': 'true'})]
56
57 # https://www.sueddeutsche.de/service/updates-mit-rss-uebersicht-aller-rss-feeds-fuer-sz-de-sz-magazin-und-jetzt-de-1.393950
58 feeds = [
59 ('Politik', 'http://rss.sueddeutsche.de/rss/Politik'),
60 ('Wirtschaft', 'http://rss.sueddeutsche.de/rss/Wirtschaft'),
61 ('Geld', 'http://rss.sueddeutsche.de/rss/Geld'),
62 ('Kultur', 'http://rss.sueddeutsche.de/rss/Kultur'),
63 ('Sport', 'http://rss.sueddeutsche.de/rss/Sport'),
64 ('Leben', 'http://rss.sueddeutsche.de/rss/Leben'),
65 ('Karriere', 'http://rss.sueddeutsche.de/rss/Karriere'),
66 ('Bildung', 'http://rss.sueddeutsche.de/rss/Bildung'),
67 ('Gesundheit', 'http://rss.sueddeutsche.de/rss/gesundheit'),
68 ('Stil', 'http://rss.sueddeutsche.de/rss/stil'),
69 ('München & Region', 'http://rss.sueddeutsche.de/rss/muenchen'),
70 ('Bayern', 'http://rss.sueddeutsche.de/rss/Bayern'),
71 ('Medien', 'http://rss.sueddeutsche.de/rss/Medien'),
72 ('Digital', 'http://rss.sueddeutsche.de/rss/Digital'),
73 ('Auto', 'http://rss.sueddeutsche.de/rss/Auto'),
74 ('Wissen', 'http://rss.sueddeutsche.de/rss/Wissen'),
75 ('Panorama', 'http://rss.sueddeutsche.de/rss/Panorama'),
76 ('Reise', 'http://rss.sueddeutsche.de/rss/Reise'),
77 ('Alles', 'https://rss.sueddeutsche.de/alles'),
78 ]
79
80 def get_article_url(self, article):
81 url = BasicNewsRecipe.get_article_url(self, article)
82 url = url.split('?')[0]
83 if 'sz-magazin.sueddeutsche.de/' not in url and 'artikel' not in url:
84 return url
85
86 def preprocess_html(self, soup):
87 sub = soup.find(attrs={'data-manual': ['overline', 'date']})
88 if sub:
89 sub.name = 'div'
90 h1 = soup.find(attrs={'data-manual': 'title'})
91 if h1:
92 h1.name = 'h1'
93 for img in soup.findAll('img', attrs={'data-src': True}):
94 img['src'] = img['data-src']
95 return soup
96
97 def print_version(self, url):
98 return 'https://och.to/unlock/' + url