pablo
5e023edb00
Added a few logging points.
2021-01-06 10:43:16 +01:00
pablo
f10b62bfd2
Reversed condition.
2021-01-06 10:40:07 +01:00
pablo
50a56091b9
Added missing logger import.
2021-01-06 10:38:30 +01:00
pablo
cbf1643fb5
Formatting, docstrings and other chores.
2021-01-04 22:17:40 +01:00
pablo
007f458cd5
Minor fixes.
2021-01-03 20:05:34 +01:00
pablo
3f9a6d8e53
Integrated throttling in capturer.
2020-12-27 12:35:02 +01:00
pablo
f53a65834b
Turned method static.
2020-11-03 14:00:51 +01:00
pablo
43236c2884
Typing, docstrings, formatting for capturer.py
2020-11-03 13:50:36 +01:00
pablo
596aaa1393
.
2020-05-05 11:36:28 +02:00
pablo
af11a2e87f
Weird waiting distribution implemented
2020-04-26 14:54:27 +02:00
pablo
9c2565f5d8
Logging and formatting
2020-03-26 11:37:32 +01:00
pablomartincalvo
5ec97ad008
Pequeños refactorings.
2019-01-07 18:09:52 +01:00
pablomartincalvo
227f298d8b
Eliminados prints innecesarios del capturer.
2019-01-03 19:32:40 +01:00
pablomartincalvo
ed32b15bc1
Cambios en validacion del parser
2018-12-30 12:06:23 +01:00
pablomartincalvo
98165ce8f0
Cambios en validacion del parser
2018-12-29 11:37:43 +01:00
pablomartincalvo
9e251783dc
Corregido validacion del telefono
2018-12-25 18:53:20 +01:00
pablomartincalvo
5aba6309f0
Transferido el espaciado entre intentos a la memoria de python en lugar
...
de a una comprobacion de base de datos.
Ajustado algunos tiempos.
2018-12-04 21:02:30 +01:00
pablomartincalvo
eeb8672f0d
Esqueleto de los cambios necesarios para añadir informacion de visitas
...
al sistema.
2018-12-02 18:53:28 +01:00
pablomartincalvo
29f7401c71
Convertido en configurables los tiempos de espera de los servicios.
2018-12-01 16:26:25 +01:00
pablomartincalvo
448a5dd261
Corregido error en capturer cuando cae un 404.
2018-11-27 20:37:21 +01:00
pablomartincalvo
3bbe7475e2
Correciones para deteccion de anuncios dados de baja.
2018-11-16 18:45:42 +01:00
pablomartincalvo
df07497125
Correciones para deteccion de anuncios dados de baja.
...
Mejoras en script de deployment.
2018-11-16 18:20:50 +01:00
pablomartincalvo
71456d3c92
Adaptado capturer y base de datos para soportar datos de m2 con
...
decimales.
2018-11-05 20:49:54 +01:00
pablomartincalvo
dd3362aa3c
Typo en capturer
2018-11-05 20:09:04 +01:00
pablomartincalvo
a2dcec95f4
Corregido criterio para identificar anuncios muertos en el capturer.
2018-10-26 20:34:43 +02:00
pablomartincalvo
600ff889be
Retoques menores en geocoder y capturer por problemas de tipos.
2018-10-20 15:58:37 +02:00
pablomartincalvo
5d261328b8
Ajustado error de tipos en dead_ad_checker.
2018-10-19 18:05:35 +02:00
pablomartincalvo
c3c16e7015
Arreglos menores en capturer y refresher.
2018-10-19 17:22:09 +02:00
pablomartincalvo
3fdbc5f766
Finalizado y testeado localmente refresher, listo para testear en
...
entorno.
2018-10-16 21:19:35 +02:00
pablomartincalvo
8f5a120096
Iniciado refresher.
2018-10-14 19:24:17 +02:00
pablomartincalvo
e0216060b9
Retoques menores en capturer y explorer. De vuelta al testing.
2018-10-14 18:41:12 +02:00
pablomartincalvo
6342a95f40
Puesto bien mains en explorer y capturer.
2018-10-14 17:19:48 +02:00
pablomartincalvo
0ddbc0a83e
Puesto mains en explorer y capturer.
2018-10-13 18:17:05 +02:00
pablomartincalvo
4edff2e0c1
Siguen los retoques. Tests locales exitosos, listo para mover a entorno
...
de pruebas y dejar corriendo junto a explorer.
2018-10-13 17:45:42 +02:00
pablomartincalvo
6a0baf4de6
Testeos en desarrollo del sistema de capturas. Pequeños retoques.
2018-10-13 02:08:58 +02:00
pablomartincalvo
e97bbba274
Creada la clase parser. Finalizado el modulo de capturas, que esta listo
...
para ser testeado.
2018-10-12 20:08:18 +02:00
pablomartincalvo
240a61649c
Cambios notables. Creadas interfaces para la tabla de capturing task
...
y la tabla de capturas.
Traslado todo lo relacionado a Geocoding a un servicio independiente
del capturer.
Replanteo totalmente el parseo del html, creando un objeto nuevo.
2018-10-06 19:09:44 +02:00
pablomartincalvo
3bd8de0e02
Creado cache de Geocoding. Avanzado en Geocoding Task. Decido mover parte de la gestion del geocoding al capturer.
2018-10-02 23:14:24 +02:00
pablomartincalvo
9d947f7e2b
Avanzado en desarrollo de capturing task. Creado clase GeocodingTask
2018-09-26 22:56:45 +02:00
pablomartincalvo
1d68575fd7
Avanzado en desarrollo de capturing task.
2018-09-23 21:04:00 +02:00
pablomartincalvo
7b47b1e766
Iniciadas clases de capturing_task y scraptargetfield.
2018-09-22 23:56:01 +02:00
pablomartincalvo
80d65b7a7c
Corregidos pequeños errores y type tras primer test del servicio.
2018-09-22 23:17:49 +02:00
pablomartincalvo
1f372b85b6
Refactorizado Explorer para que el Explorer, y no el exploring_task, se encargue de postear las tareas de captura.
...
Creado una funcion independiente de creacion de capturas para que sea compartida entre todos aquellos servicios que las creen.
2018-09-21 18:19:33 +02:00
