| 1 |
#!/usr/bin/env python |
| 2 |
## |
| 3 |
## Written: March 2020 |
| 4 |
## Version: 1.2 |
| 5 |
## Last update: 2024-09-26 |
| 6 |
## |
| 7 |
from __future__ import absolute_import, division, print_function, unicode_literals |
| 8 |
|
| 9 |
''' |
| 10 |
Fetch RSS-Feeds from saechsische.de |
| 11 |
''' |
| 12 |
|
| 13 |
from calibre.web.feeds.news import BasicNewsRecipe |
| 14 |
|
| 15 |
|
| 16 |
def prefixed_classes(classes): |
| 17 |
q = frozenset(classes.split(' ')) |
| 18 |
|
| 19 |
def matcher(x): |
| 20 |
if x: |
| 21 |
for candidate in frozenset(x.split()): |
| 22 |
for x in q: |
| 23 |
if candidate.startswith(x): |
| 24 |
return True |
| 25 |
return False |
| 26 |
|
| 27 |
return {'attrs': {'class': matcher}} |
| 28 |
|
| 29 |
|
| 30 |
class Saechsische(BasicNewsRecipe): |
| 31 |
title = 'Saechsische Zeitung' |
| 32 |
__author__ = 'epubli' |
| 33 |
description = 'RSS-Feeds von saechsische.de' |
| 34 |
publisher = 'Saechsische Zeitung' |
| 35 |
publication_type = 'newspaper' |
| 36 |
language = 'de' |
| 37 |
encoding = 'UTF-8' |
| 38 |
oldest_article = 1 |
| 39 |
max_articles_per_feed = 40 |
| 40 |
no_stylesheets = True |
| 41 |
remove_javascript = True |
| 42 |
remove_empty_feeds = True |
| 43 |
compress_news_images = True |
| 44 |
compress_news_images_auto_size = 8 |
| 45 |
scale_news_images_to_device = True |
| 46 |
delay = 1 |
| 47 |
ignore_duplicate_articles = {'title', 'url'} |
| 48 |
|
| 49 |
cover_url = 'https://www.saechsische.de/pf/resources/wordmarks/Saez.svg?d=693' |
| 50 |
|
| 51 |
keep_only_tags = [prefixed_classes('ArticleHeadstyled__ArticleHeader- Articlestyled__ArticleBodyWrapper- ArticleImagestyled__ArticleImage-')] |
| 52 |
remove_tags = [ |
| 53 |
prefixed_classes( |
| 54 |
'CallToActionBasestyled__Container- ArticleDetailsstyled__ArticleDetailsToggleCheckbox-' |
| 55 |
' ArticleDetailsstyled__ArticleDetailsToggleButton- ArticleImagestyled__ArticleImageCheckbox-' |
| 56 |
' Adstyled__AdWrapper- MoreItemsBlockstyled__TitleWrapper- MoreItemsBlockstyled__MoreItemsBlock-' |
| 57 |
' ContentTeaserstyled__Article- Buttonstyled__Button-' |
| 58 |
), |
| 59 |
dict(name='source'), |
| 60 |
] |
| 61 |
|
| 62 |
feeds = [ |
| 63 |
# ('Alle Artikel der SZ', 'https://www.saechsische.de/arc/outboundfeeds/rss/'), |
| 64 |
('Stadt Dresden', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/dresden'), |
| 65 |
# ('Altstadt', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/dresden/altstadt'), |
| 66 |
# ('Blasewitz', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/dresden/blasewitz'), |
| 67 |
# ('Cotta', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/dresden/cotta'), |
| 68 |
# ('Klotzsche', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/dresden/klotzsche'), |
| 69 |
# ('Leuben', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/dresden/leuben'), |
| 70 |
# ('Loschwitz', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/dresden/loschwitz'), |
| 71 |
# ('Neustadt', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/dresden/neustadt'), |
| 72 |
# ('Pieschen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/dresden/pieschen'), |
| 73 |
# ('Plauen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/dresden/plauen'), |
| 74 |
# ('Prohlis', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/dresden/prohlis'), |
| 75 |
# ('Cossebaude', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/dresden/cossebaude'), |
| 76 |
# ('Langebrück', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/dresden/langebrueck'), |
| 77 |
# ('Gompitz/Altfranken', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/dresden/gompitz-altfranken'), |
| 78 |
# ('Weixdorf', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/dresden/weixdorf'), |
| 79 |
# ('Schönfeld-Weißig', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/dresden/schoenfeld-weissig'), |
| 80 |
# ('Landkreis Bautzen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/bautzen-lk'), |
| 81 |
# ('Stadt Bautzen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/bautzen-lk/bautzen'), |
| 82 |
# ('Bischofswerda', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/bautzen-lk/bischofswerda'), |
| 83 |
# ('Kamenz', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/bautzen-lk/kamenz'), |
| 84 |
# ('Pulsnitz', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/bautzen-lk/pulsnitz'), |
| 85 |
# ('Radeberg', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/bautzen-lk/radeberg'), |
| 86 |
# ('Hoyerswerda', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/bautzen-lk/hoyerswerda'), |
| 87 |
# ('Bernsdorf', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/bautzen-lk/bernsdorf'), |
| 88 |
# ('Großröhrsdorf', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/bautzen-lk/grossroehrsdorf'), |
| 89 |
# ('Lauta', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/bautzen-lk/lauta'), |
| 90 |
# ('Schirgiswalde-Kirschau', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/bautzen-lk/schirgiswalde-kirschau'), |
| 91 |
# ('Wittichenau', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/bautzen-lk/wittichenau'), |
| 92 |
# ('Landkreis Görlitz', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/goerlitz-lk'), |
| 93 |
# ('Stadt Görlitz', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/goerlitz-lk/goerlitz'), |
| 94 |
# ('Niesky', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/goerlitz-lk/niesky'), |
| 95 |
# ('Löbau', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/goerlitz-lk/loebau'), |
| 96 |
# ('Zittau', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/goerlitz-lk/zittau'), |
| 97 |
# ('Ostritz', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/goerlitz-lk/ostritz'), |
| 98 |
# ('Rothenburg/Oberlausitz', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/goerlitz-lk/rothenburg'), |
| 99 |
# ('Zittauer Gebirge', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/goerlitz-lk/zittauer-gebirge'), |
| 100 |
# ('Vierkirchen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/goerlitz-lk/vierkirchen'), |
| 101 |
# ('Bad Muskau', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/goerlitz-lk/bad-muskau'), |
| 102 |
# ('Weißwasser', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/goerlitz-lk/weisswasser'), |
| 103 |
# ('Boxberg', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/goerlitz-lk/boxberg'), |
| 104 |
# ('Ebersbach-Neugersdorf', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/goerlitz-lk/ebersbach-neugersdorf'), |
| 105 |
# ('Kodersdorf', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/goerlitz-lk/kodersdorf'), |
| 106 |
# ('Landkreis Sächsische Schweiz-Osterzgebirge', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/saechsische-schweiz-osterzgebirge'), |
| 107 |
# ('Pirna', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/saechsische-schweiz-osterzgebirge/pirna'), |
| 108 |
# ('Sebnitz', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/saechsische-schweiz-osterzgebirge/sebnitz'), |
| 109 |
# ('Bad Schandau', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/saechsische-schweiz-osterzgebirge/bad-schandau'), |
| 110 |
# ('Bad Gottleuba-Berggießhübel', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/saechsische-schweiz-osterzgebirge/bad-gottleuba-berggiesshuebel'), |
| 111 |
# ('Heidenau', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/saechsische-schweiz-osterzgebirge/heidenau'), |
| 112 |
# ('Dippoldiswalde', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/saechsische-schweiz-osterzgebirge/dippoldiswalde'), |
| 113 |
# ('Altenberg', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/saechsische-schweiz-osterzgebirge/altenberg'), |
| 114 |
# ('Freital', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/saechsische-schweiz-osterzgebirge/freital'), |
| 115 |
# ('Stolpen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/saechsische-schweiz-osterzgebirge/stolpen'), |
| 116 |
# ('Glashütte', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/saechsische-schweiz-osterzgebirge/glashuette'), |
| 117 |
# ('Wilsdruff', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/saechsische-schweiz-osterzgebirge/wilsdruff'), |
| 118 |
# ('Neustadt in Sachsen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/saechsische-schweiz-osterzgebirge/neustadt-in-sachsen'), |
| 119 |
# ('Landkreis Meißen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/meissen-lk'), |
| 120 |
# ('Meißen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/meissen-lk/meissen'), |
| 121 |
# ('Radebeul', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/meissen-lk/radebeul'), |
| 122 |
# ('Riesa', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/meissen-lk/riesa'), |
| 123 |
# ('Großenhain', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/meissen-lk/grossenhain'), |
| 124 |
# ('Nossen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/meissen-lk/nossen'), |
| 125 |
# ('Lommatzsch', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/meissen-lk/lommatzsch'), |
| 126 |
# ('Radeburg', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/meissen-lk/radeburg'), |
| 127 |
# ('Königsbrücker Heide', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/meissen-lk/koenigsbruecker-heide'), |
| 128 |
# ('Weinböhla', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/meissen-lk/weinboehla'), |
| 129 |
# ('Moritzburg', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/meissen-lk/moritzburg'), |
| 130 |
# ('Coswig', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/meissen-lk/coswig'), |
| 131 |
# ('Gröditz', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/meissen-lk/groeditz'), |
| 132 |
# ('Klipphausen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/meissen-lk/klipphausen'), |
| 133 |
# ('Landkreis Mittelsachsen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/mittelsachsen'), |
| 134 |
# ('Döbeln', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/mittelsachsen/doebeln'), |
| 135 |
# ('Freiberg', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/mittelsachsen/freiberg'), |
| 136 |
# ('Mittweida', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/mittelsachsen/mittweida'), |
| 137 |
# ('Leisnig', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/mittelsachsen/leisnig'), |
| 138 |
# ('Waldheim', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/mittelsachsen/waldheim'), |
| 139 |
# ('Frankenberg', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/mittelsachsen/frankenberg'), |
| 140 |
# ('Großschirma', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/mittelsachsen/grossschirma'), |
| 141 |
# ('Hainichen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/mittelsachsen/hainichen'), |
| 142 |
# ('Augustusburg', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/mittelsachsen/augustusburg'), |
| 143 |
# ('Jahnatal', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/mittelsachsen/jahnatal'), |
| 144 |
# ('Landkreis Zwickau', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/zwickau-lk'), |
| 145 |
# ('Stadt Leipzig', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/leipzig'), |
| 146 |
# ('Chemnitz', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/chemnitz'), |
| 147 |
# ('Landkreis Nordsachsen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/nordsachsen'), |
| 148 |
# ('Landkreis Leipzig', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/leipzig-lk'), |
| 149 |
# ('Erzgebirgskreis', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/erzgebirgskreis'), |
| 150 |
# ('Annaberg-Buchholz', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/erzgebirgskreis/annaberg-buchholz'), |
| 151 |
# ('Seiffen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/erzgebirgskreis/seiffen'), |
| 152 |
# ('Vogtlandkreis', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/vogtland'), |
| 153 |
# ('Plauen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lokales/vogtland/plauen'), |
| 154 |
# ('Tschechien', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/tschechien'), |
| 155 |
('Sachsen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/sachsen'), |
| 156 |
# ('Der Osten', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/der-osten'), |
| 157 |
# ('Politik in Sachsen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/politik/regional'), |
| 158 |
# ('Wirtschaft in Sachsen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/wirtschaft/regional'), |
| 159 |
# ('Sport in Sachsen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/sport/regional'), |
| 160 |
# ('Dynamo Dresden', 'https://www.saechsische.de/arc/outboundfeeds/rss/tags_slug/dynamo-dresden'), |
| 161 |
# ('Outdoor in Sachsen', 'https://www.saechsische.de/arc/outboundfeeds/rss/tags_slug/outdoor-in-sachsen'), |
| 162 |
# ('Autobahn 17 (A17)', 'https://www.saechsische.de/arc/outboundfeeds/rss/tags_slug/autobahn-17-(a17)'), |
| 163 |
# ('Autobahn 4 (A4)', 'https://www.saechsische.de/arc/outboundfeeds/rss/tags_slug/autobahn-4-(a4)'), |
| 164 |
# ('Autobahn 72 (A72)', 'https://www.saechsische.de/arc/outboundfeeds/rss/tags_slug/autobahn-72-(a72)'), |
| 165 |
# ('Autobahn 9 (A9)', 'https://www.saechsische.de/arc/outboundfeeds/rss/tags_slug/autobahn-9-(a9)'), |
| 166 |
# ('Bundesstraße 170 (B170)', 'https://www.saechsische.de/arc/outboundfeeds/rss/tags_slug/bundesstrasse-170-(b170)'), |
| 167 |
# ('Bundesstraße 178 (B178)', 'https://www.saechsische.de/arc/outboundfeeds/rss/tags_slug/bundesstrasse-178-(b178)'), |
| 168 |
# ('Bundesstraße 96 (B96)', 'https://www.saechsische.de/arc/outboundfeeds/rss/tags_slug/bundesstrasse-96-(b96)'), |
| 169 |
# ('Erzgebirge', 'https://www.saechsische.de/arc/outboundfeeds/rss/tags_slug/erzgebirge'), |
| 170 |
# ('Sachsen Freizeit', 'https://www.saechsische.de/arc/outboundfeeds/rss/tags_slug/sachsen-freizeit'), |
| 171 |
# ('Sachsen Gastronomie', 'https://www.saechsische.de/arc/outboundfeeds/rss/tags_slug/sachsen-gastronomie'), |
| 172 |
# ('Genuss und Kochen', 'https://www.saechsische.de/arc/outboundfeeds/rss/tags_slug/genuss-und-kochen'), |
| 173 |
# ('Sächsische Schweiz', 'https://www.saechsische.de/arc/outboundfeeds/rss/tags_slug/saechsische-schweiz'), |
| 174 |
# ('Sachsenkompass', 'https://www.saechsische.de/arc/outboundfeeds/rss/tags_slug/sachsenkompass'), |
| 175 |
('Politik', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/politik'), |
| 176 |
('Wirtschaft', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/wirtschaft'), |
| 177 |
# ('Sport', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/sport'), |
| 178 |
('Panorama', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/panorama'), |
| 179 |
# ('Promis', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/promis'), |
| 180 |
# ('Reise', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/reise'), |
| 181 |
# ('Medien & TV', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/medien'), |
| 182 |
# ('Digital', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/digital'), |
| 183 |
# ('Kultur', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/kultur'), |
| 184 |
# ('Wissen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/wissen'), |
| 185 |
# ('Familie', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/familie'), |
| 186 |
# ('Gesundheit', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/gesundheit'), |
| 187 |
# ('Lifestyle', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/lifestyle'), |
| 188 |
# ('Mobilität', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/mobilitaet'), |
| 189 |
# ('Bauen & Wohnen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/bauen-und-wohnen'), |
| 190 |
# ('Geld & Finanzen', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/geld-und-finanzen'), |
| 191 |
# ('Liebe & Partnerschaft', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/liebe-und-partnerschaft'), |
| 192 |
# ('E-Mobility', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/e-mobility'), |
| 193 |
# ('Beruf & Bildung', 'https://www.saechsische.de/arc/outboundfeeds/rss/category/beruf-und-bildung') |
| 194 |
] |
| 195 |
|
| 196 |
def parse_feeds(self): |
| 197 |
# Call parent's method. |
| 198 |
feeds = BasicNewsRecipe.parse_feeds(self) |
| 199 |
# Loop through all feeds. |
| 200 |
for feed in feeds: |
| 201 |
# Loop through all articles in feed. |
| 202 |
for article in feed.articles[:]: |
| 203 |
# Remove articles with '...' in the url. |
| 204 |
if '/anzeige/' in article.url: |
| 205 |
print('Removing:', article.title) |
| 206 |
feed.articles.remove(article) |
| 207 |
# Remove articles with '...' in the title. |
| 208 |
elif 'Liveticker' in article.title: |
| 209 |
print('Removing:', article.title) |
| 210 |
feed.articles.remove(article) |
| 211 |
elif 'Liveblog' in article.title: |
| 212 |
print('Removing:', article.title) |
| 213 |
feed.articles.remove(article) |
| 214 |
elif 'Newsblog' in article.title: |
| 215 |
print('Removing:', article.title) |
| 216 |
feed.articles.remove(article) |
| 217 |
elif 'Podcast' in article.title: |
| 218 |
print('Removing:', article.title) |
| 219 |
feed.articles.remove(article) |
| 220 |
return feeds |
| 221 |
|
| 222 |
def preprocess_raw_html(self, raw, url): |
| 223 |
# remove Newsblogs, articles requiring login and advertisements |
| 224 |
unwantedtag = 'ArticleHeadstyled__ArticleHeadPaidIconContainer' |
| 225 |
if unwantedtag in raw: |
| 226 |
print('Skipping unwanted article with tag:', unwantedtag) |
| 227 |
self.abort_article('Skipping unwanted article') |
| 228 |
|
| 229 |
unwanted_article_keywords = ['Zum Login'] |
| 230 |
for keyword in unwanted_article_keywords: |
| 231 |
if keyword in raw: |
| 232 |
print('Skipping unwanted article with keyword(s):', keyword) |
| 233 |
# self.abort_article('Skipping unwanted article') |
| 234 |
return raw |