Debian Codegraph @

recipes/weblogs_sl.recipe

raw
1 #!/usr/bin/env python
2 __license__ = 'GPL v3'
3 __copyright__ = '4 February 2011, desUBIKado'
4 __author__ = 'desUBIKado'
5 __version__ = 'v0.12'
6 __date__ = '28, Jul 2016'
7 '''
8 http://www.weblogssl.com/
9 '''
10
11 import re
12
13 from calibre.web.feeds.news import BasicNewsRecipe
14
15
16 class weblogssl(BasicNewsRecipe):
17 __author__ = 'desUBIKado'
18 description = 'Weblogs colectivos dedicados a seguir la actualidad sobre tecnologia, entretenimiento, estilos de vida, motor, deportes y economia.'
19 title = 'Weblogs SL (Xataka, Genbeta, VidaExtra, Blog de Cine y otros)'
20 publisher = 'Weblogs SL'
21 language = 'es'
22 timefmt = '[%a, %d %b, %Y]'
23 oldest_article = 1
24 max_articles_per_feed = 100
25 encoding = 'utf-8'
26 use_embedded_content = False
27 remove_empty_feeds = True
28 remove_javascript = True
29 no_stylesheets = True
30
31 # Si no se quiere recuperar todos los blogs se puede suprimir la descarga del que se desee poniendo
32 # un caracter # por delante, es decir, # (u'Applesfera', u'http://feeds.weblogssl.com/applesfera'),
33 # haría que no se descargase Applesfera.
34
35 feeds = [
36 ('Xataka', 'http://feeds.weblogssl.com/xataka2'),
37 ('Xataka M\xf3vil', 'http://feeds.weblogssl.com/xatakamovil'),
38 ('Xataka Foto', 'http://feeds.weblogssl.com/xatakafoto'),
39 ('Xataka Android', 'http://feeds.weblogssl.com/xatakandroid'),
40 ('Xataka Smart Home', 'http://feeds.weblogssl.com/Xatakahome'),
41 ('Xataka Windows', 'http://feeds.weblogssl.com/xatakawindows'),
42 ('Xataka Ciencia', 'http://feeds.weblogssl.com/xatakaciencia'),
43 ('Applesfera', 'http://feeds.weblogssl.com/applesfera'),
44 ('Vida Extra', 'http://feeds.weblogssl.com/vidaextra'),
45 ('Genbeta', 'http://feeds.weblogssl.com/genbeta'),
46 ('Genbeta Dev', 'http://feeds.weblogssl.com/genbetadev'),
47 ('Magnet', 'http://feeds.weblogssl.com/xatakamagnet2'),
48 ('Tendencias', 'http://feeds.weblogssl.com/trendencias'),
49 ('Tendencias Belleza', 'http://feeds.weblogssl.com/trendenciasbelleza'),
50 ('Tendencias Hombre', 'http://feeds.weblogssl.com/trendenciashombre'),
51 ('Tendencias Lifestyle', 'http://feeds.weblogssl.com/trendenciaslifestyle'),
52 ('Directo al paladar', 'http://feeds.weblogssl.com/directoalpaladar'),
53 ('Beb\xe9s y m\xe1s', 'http://feeds.weblogssl.com/bebesymas'),
54 ('Vit\xf3nica', 'http://feeds.weblogssl.com/vitonica'),
55 ('Decoesfera', 'http://feeds.weblogssl.com/decoesfera'),
56 ('Embelezzia', 'http://feeds.weblogssl.com/embelezzia'),
57 ('Pop rosa', 'http://feeds.weblogssl.com/poprosa'),
58 ('Motorpasi\xf3n', 'http://feeds.weblogssl.com/motorpasion'),
59 ('Motorpasi\xf3n Moto', 'http://feeds.weblogssl.com/motorpasionmoto'),
60 ('Motorpasi\xf3n Futuro', 'http://feeds.weblogssl.com/motorpasionfuturo'),
61 ('Blog de Cine', 'http://feeds.weblogssl.com/blogdecine'),
62 ('Vaya tele', 'http://feeds.weblogssl.com/vayatele2'),
63 ('Diario del viajero', 'http://feeds.weblogssl.com/diariodelviajero'),
64 ('Papel en blanco', 'http://feeds.weblogssl.com/papelenblanco'),
65 ('El blog salm\xf3n', 'http://feeds.weblogssl.com/elblogsalmon2'),
66 ('Pymes y aut\xf3nomos', 'http://feeds.weblogssl.com/pymesyautonomos'),
67 ('Ahorro diario', 'http://feeds.weblogssl.com/ahorrodiario'),
68 ('Xataka México', 'http://feeds.weblogssl.com/xatakamx'),
69 ('Xataka Android México', 'http://feeds.weblogssl.com/xatakandroidmx'),
70 ('Vida Extra México', 'http://feeds.weblogssl.com/vidaextramx'),
71 ('Xataka Colombia', 'http://feeds.weblogssl.com/xatakaco'),
72 ('Directo al paladar México', 'http://feeds.weblogssl.com/directoalpaladarmx'),
73 ('Vit\xf3nica México', 'http://feeds.weblogssl.com/vitonicamx'),
74 ('Tendencias Hombre México', 'http://feeds.weblogssl.com/trendenciashombremx'),
75 ('Motorpasi\xf3n México', 'http://feeds.weblogssl.com/motorpasionmx'),
76 ]
77
78 keep_only_tags = [dict(name='div', attrs={'class': 'content-container'})]
79
80 remove_tags = [
81 dict(name='div', attrs={'class': 'article-social-share m-v1 js-article-share js-article-social-share'}),
82 dict(name='div', attrs={'class': 'article-social-share m-v1 js-article-social-share'}),
83 dict(name='div', attrs={'class': 'social-widgets'}),
84 dict(name='div', attrs={'class': 'article-social-share m-in-normal'}),
85 dict(name='div', attrs={'class': 'article-comments'}),
86 dict(name='div', attrs={'class': 'article-links'}),
87 dict(name='div', attrs={'class': 'article-topics-list'}),
88 dict(name='div', attrs={'class': 'ad-box'}),
89 dict(name='blockquote', attrs={'class': 'instagram-media'}),
90 dict(name='img', attrs={'alt': 'Código QR'}),
91 dict(name='div', attrs={'id': 'comments'}),
92 ]
93
94 remove_tags_after = dict(name='div', attrs={'id': 'comments'})
95
96 def print_version(self, url):
97 if url.startswith('http://www'):
98 return url.replace('http://www.', 'http://m.')
99 else:
100 return url.replace('http://', 'http://m.')
101
102 preprocess_regexps = [
103 # Para poner una linea en blanco entre un comentario y el siguiente
104 (re.compile(r'<li id="c', re.DOTALL | re.IGNORECASE), lambda match: '<br><br><li id="c'),
105 # Para ver las imágenes en las noticias de m.xataka.com
106 (re.compile(r'<noscript>', re.DOTALL | re.IGNORECASE), lambda m: ''),
107 (re.compile(r'</noscript>', re.DOTALL | re.IGNORECASE), lambda m: ''),
108 # Para cambiar de sitio el more
109 (re.compile(r'<div class="article-content">', re.DOTALL | re.IGNORECASE), lambda m: '<div class="article-content"><!--more-->'),
110 (re.compile(r'<div class="\/n<!--more-->">', re.DOTALL | re.IGNORECASE), lambda m: ''),
111 # Para presentar la primera imagen del artículo
112 (re.compile(r' srcset="http://i.blogs.es/', re.DOTALL | re.IGNORECASE), lambda match: ' src="http://i.blogs.es/'),
113 (re.compile(r' 450w, http://i.blogs.es', re.DOTALL | re.IGNORECASE), lambda match: '"><!--'),
114 (re.compile(r'1366w"><span></span>', re.DOTALL | re.IGNORECASE), lambda match: '-->'),
115 (re.compile(r'1366w" sf-src="http://i.blogs.es', re.DOTALL | re.IGNORECASE), lambda match: '--> sf-src="http://i.blogs.es'),
116 ]
117
118 # Para sustituir el video incrustado de YouTube por una imagen
119
120 def preprocess_html(self, soup):
121 for video_yt in soup.findAll('iframe', {'title': 'YouTube video player'}):
122 if video_yt:
123 video_yt.name = 'img'
124 fuente = video_yt['src']
125 fuente2pre = fuente.replace('http://www.youtube.com/embed/', 'http://img.youtube.com/vi/')
126 fuente2 = fuente2pre.replace('https://www.youtube.com/embed/', 'https://img.youtube.com/vi/')
127 fuente3 = fuente2.replace('?rel=0', '')
128 video_yt['src'] = fuente3 + '/0.jpg'
129
130 for video_yt2 in soup.findAll('iframe', {'allowfullscreen'}):
131 if video_yt2:
132 esyt = video_yt2.find('youtube')
133 if esyt:
134 video_yt2.name = 'img'
135 fuente = video_yt2['src']
136 fuente2pre = fuente.replace('http://www.youtube.com/embed/', 'http://img.youtube.com/vi/')
137 fuente2 = fuente2pre.replace('https://www.youtube.com/embed/', 'https://img.youtube.com/vi/')
138 video_yt2['src'] = fuente2 + '/0.jpg'
139
140 return soup
141
142 def get_article_url(self, article):
143 return article.get('guid', None)