Debian Codegraph @

recipes/expansion_spanish.recipe

raw
1 #!/usr/bin/env python
2 __license__ = 'GPL v3'
3 __copyright__ = '5, January 2011 Gerardo Diez<[email protected]> & desUBIKado'
4 __author__ = 'desUBIKado, based on an earlier version by Gerardo Diez'
5 __version__ = 'v1.01'
6 __date__ = '13, November 2011'
7
8 '''
9 [url]http://www.expansion.com/[/url]
10 '''
11
12 import re
13 import time
14
15 from calibre.web.feeds.recipes import BasicNewsRecipe
16
17
18 class expansion_spanish(BasicNewsRecipe):
19 __author__ = 'Gerardo Diez & desUBIKado'
20 description = 'Financial news from Spain'
21 title = 'Expansion'
22 publisher = 'Unidad Editorial Internet, S.L.'
23 category = 'news, finances, Spain'
24 oldest_article = 2
25 simultaneous_downloads = 10
26 max_articles_per_feed = 100
27 timefmt = '[%a, %d %b, %Y]'
28 encoding = 'iso-8859-15'
29 language = 'es'
30 use_embedded_content = False
31 remove_javascript = True
32 no_stylesheets = True
33 remove_empty_feeds = True
34
35 keep_only_tags = dict(name='div', attrs={'class': ['noticia primer_elemento']})
36
37 remove_tags = [
38 dict(
39 name='div',
40 attrs={
41 'class': [
42 'compartir',
43 'metadata_desarrollo_noticia',
44 'relacionadas',
45 'mas_info',
46 'publicidad publicidad_textlink',
47 'ampliarfoto',
48 'tit_relacionadas',
49 'interact',
50 'paginacion estirar',
51 'sumario derecha',
52 ]
53 },
54 ), # noqa: E501
55 dict(name='ul', attrs={'class': ['bolos_desarrollo_noticia', 'not_logged']}),
56 dict(name='span', attrs={'class': ['comentarios']}),
57 dict(name='p', attrs={'class': ['cintillo_comentarios', 'cintillo_comentarios formulario']}),
58 dict(name='div', attrs={'id': ['comentarios_lectores_listado', 'comentar']}),
59 ]
60 feeds = [
61 ('Portada', 'http://estaticos.expansion.com/rss/portada.xml'),
62 ('Portada: Bolsas', 'http://estaticos.expansion.com/rss/mercados.xml'),
63 ('Divisas', 'http://estaticos.expansion.com/rss/mercadosdivisas.xml'),
64 ('Euribor', 'http://estaticos.expansion.com/rss/mercadoseuribor.xml'),
65 ('Materias Primas', 'http://estaticos.expansion.com/rss/mercadosmateriasprimas.xml'),
66 ('Renta Fija', 'http://estaticos.expansion.com/rss/mercadosrentafija.xml'),
67 ('Portada: Mi Dinero', 'http://estaticos.expansion.com/rss/midinero.xml'),
68 ('Hipotecas', 'http://estaticos.expansion.com/rss/midinerohipotecas.xml'),
69 ('Cr\xe9ditos', 'http://estaticos.expansion.com/rss/midinerocreditos.xml'),
70 ('Pensiones', 'http://estaticos.expansion.com/rss/midineropensiones.xml'),
71 ('Fondos de Inversi\xf3n', 'http://estaticos.expansion.com/rss/midinerofondos.xml'),
72 ('Motor', 'http://estaticos.expansion.com/rss/midineromotor.xml'),
73 ('Portada: Empresas', 'http://estaticos.expansion.com/rss/empresas.xml'),
74 ('Banca', 'http://estaticos.expansion.com/rss/empresasbanca.xml'),
75 ('TMT', 'http://estaticos.expansion.com/rss/empresastmt.xml'),
76 ('Energ\xeda', 'http://estaticos.expansion.com/rss/empresasenergia.xml'),
77 ('Inmobiliario y Construcci\xf3n', 'http://estaticos.expansion.com/rss/empresasinmobiliario.xml'),
78 ('Transporte y Turismo', 'http://estaticos.expansion.com/rss/empresastransporte.xml'),
79 ('Automoci\xf3n e Industria', 'http://estaticos.expansion.com/rss/empresasauto-industria.xml'),
80 ('Distribuci\xf3n', 'http://estaticos.expansion.com/rss/empresasdistribucion.xml'),
81 ('Deporte y Negocio', ' [url]http://estaticos.expansion.com/rss/empresasdeporte.xml[/url]'),
82 ('Mi Negocio', 'http://estaticos.expansion.com/rss/empresasminegocio.xml'),
83 ('Interiores', 'http://estaticos.expansion.com/rss/empresasinteriores.xml'),
84 ('Digitech', 'http://estaticos.expansion.com/rss/empresasdigitech.xml'),
85 ('Portada: Econom\xeda y Pol\xedtica', 'http://estaticos.expansion.com/rss/economiapolitica.xml'),
86 ('Pol\xedtica', 'http://estaticos.expansion.com/rss/economia.xml'),
87 ('Portada: Sociedad', 'http://estaticos.expansion.com/rss/entorno.xml'),
88 ('Portada: Opini\xf3n', 'http://estaticos.expansion.com/rss/opinion.xml'),
89 ('Llaves y editoriales', 'http://estaticos.expansion.com/rss/opinioneditorialyllaves.xml'),
90 ('Tribunas', 'http://estaticos.expansion.com/rss/opiniontribunas.xml'),
91 ('Portada: Jur\xeddico', 'http://estaticos.expansion.com/rss/juridico.xml'),
92 ('Entrevistas', 'http://estaticos.expansion.com/rss/juridicoentrevistas.xml'),
93 ('Opini\xf3n', 'http://estaticos.expansion.com/rss/juridicoopinion.xml'),
94 ('Sentencias', 'http://estaticos.expansion.com/rss/juridicosentencias.xml'),
95 ('Mujer', 'http://estaticos.expansion.com/rss/mujer-empresa.xml'),
96 ('Catalu\xf1a', 'http://estaticos.expansion.com/rss/catalunya.xml'),
97 ('Funci\xf3n p\xfablica', 'http://estaticos.expansion.com/rss/funcion-publica.xml'),
98 ]
99
100 # Obtener la imagen de portada
101
102 def get_cover_url(self):
103 cover = None
104 st = time.localtime()
105 year = str(st.tm_year)
106 month = '%.2d' % st.tm_mon
107 day = '%.2d' % st.tm_mday
108 cover = 'http://img5.kiosko.net/' + '/'.join([year, month, day]) + '/es/expansion.750.jpg'
109 br = BasicNewsRecipe.get_browser(self)
110 try:
111 br.open(cover)
112 except Exception:
113 self.log('\nPortada no disponible')
114 cover = 'http://www.aproahp.org/enlaces/images/diario_expansion.gif'
115 return cover
116
117 # Para que no salte la publicidad al recuperar la noticia, y que siempre se recupere
118 # la página web, mando la variable "t" con la hora "linux" o "epoch" actual
119 # haciendole creer al sitio web que justo se acaba de ver la publicidad
120
121 def print_version(self, url):
122 st = time.time()
123 segundos = str(int(st))
124 parametros = '.html?t=' + segundos
125 return url.replace('.html', parametros)
126
127 _processed_links = []
128
129 def get_article_url(self, article):
130
131 # Para obtener la url original del artículo a partir de la de
132 # "feedsportal"
133
134 link = article.get('link', None)
135 if link is None:
136 return article
137 if link.split('/')[-1] == 'story01.htm':
138 link = link.split('/')[-2]
139 t = (
140 ('0B', '.'),
141 ('0C', '/'),
142 ('0D', '?'),
143 ('0E', '-'),
144 ('0F', '='),
145 ('0G', '&'),
146 ('0N', '.com'),
147 ('0L0S', 'www.'),
148 ('0A', '0'),
149 )
150 for a, b in t:
151 link = link.replace(a, b)
152 link = 'http://' + link
153
154 # Eliminar artículos duplicados en otros feeds
155
156 if link not in self._processed_links:
157 self._processed_links.append(link)
158 else:
159 link = None
160
161 return link
162
163 # Un poco de css para mejorar la presentación de las noticias
164
165 extra_css = '''
166 .entradilla {font-family:Arial,Helvetica,sans-serif; font-weight:bold; font-style:italic; font-size:16px;}
167 .fecha_publicacion,.autor {font-family:Arial,Helvetica,sans-serif; font-weight:bold;font-size:14px;}
168 '''
169
170 # Para presentar la imagen de los videos incrustados
171
172 preprocess_regexps = [
173 (re.compile(r'var imagen', re.DOTALL | re.IGNORECASE), lambda match: '--></script><img src'),
174 (re.compile(r'.jpg";', re.DOTALL | re.IGNORECASE), lambda match: '.jpg">'),
175 (re.compile(r'var id_reproductor', re.DOTALL | re.IGNORECASE), lambda match: '<script language="Javascript" type="text/javascript"><!--'),
176 ]