pablo
cbf1643fb5
Formatting, docstrings and other chores.
2021-01-04 22:17:40 +01:00
pablo
adf2cd26ba
Minor fix regarding issue spotting in parsing.
2021-01-04 21:56:24 +01:00
pablo
007f458cd5
Minor fixes.
2021-01-03 20:05:34 +01:00
pablo
def858ef6a
Modified input format of instructions for ParsingFlowGenerator. Previous dict wouldn't allow for more than one SecondaryFeaturesFieldInstructions class pointer.
2020-12-31 19:02:09 +01:00
pablo
2b249063e0
Created a new flow generator + tests for it.
2020-12-31 18:28:48 +01:00
pablo
b8d4893026
Mini syntax fix.
2020-12-31 18:14:44 +01:00
pablo
cb553b5f7e
Minor fixes in parsing utils.
2020-12-29 20:42:21 +01:00
pablo
3b79ba06d8
Created parsing_utils module to refactor HTML parsing and validation actions.
2020-12-29 17:38:17 +01:00
pablo
d136144a4e
Throttling checks are now lazy.
2020-12-26 20:25:56 +01:00
pablo
2a9483981e
Implemented a new throttling module to remove redundance in the project.
2020-12-26 18:54:04 +01:00
pablo
3cf7dd8bd9
Typing, docstrings, formatting for mysql_wrapper.py
2020-11-03 08:44:37 +01:00
pablo
e9ee23f852
Typing, docstrings, formatting for scrapping_utils.py
2020-11-03 07:43:21 +01:00
pablo
a79fc533ee
Formatting.
2020-11-03 07:29:17 +01:00
pablo
cd9c3b6e39
Some changes.
2020-11-03 07:26:06 +01:00
pablo
9e7194c8d9
URLAttacks now share a common session.
2020-11-02 13:08:37 +01:00
pablo
db04a67c4c
More testing code.
2020-11-02 12:51:20 +01:00
pablo
c337a33feb
More testing code.
2020-11-02 12:43:49 +01:00
pablo
81112a4cb9
More testing code.
2020-11-02 12:02:56 +01:00
pablo
51c4bdb347
Fixes. Code version for mysql.
2020-05-08 09:26:29 +02:00
pablo
596aaa1393
.
2020-05-05 11:36:28 +02:00
pablo
8d4c082a18
Format.
2020-04-26 15:06:04 +02:00
pablo
923649a099
Format. Random headers
2020-04-26 15:05:40 +02:00
pablo
af11a2e87f
Weird waiting distribution implemented
2020-04-26 14:54:27 +02:00
pablo
df032328e9
Formatting and todos.
2020-04-25 18:26:22 +02:00
pablo
f0fe2b9780
Updated headers.
2020-04-25 18:17:43 +02:00
pablo
a9242b2f3a
Added logging config.
2020-03-26 11:18:14 +01:00
pablomartincalvo
38984822a7
Actualizados headers de los ataques a URL por cambios en idealsita.
2018-12-30 19:28:05 +01:00
pablomartincalvo
c234679a10
Testeado el batch de indices en dev.
2018-12-23 18:30:11 +01:00
pablomartincalvo
5aba6309f0
Transferido el espaciado entre intentos a la memoria de python en lugar
...
de a una comprobacion de base de datos.
Ajustado algunos tiempos.
2018-12-04 21:02:30 +01:00
pablomartincalvo
29f7401c71
Convertido en configurables los tiempos de espera de los servicios.
2018-12-01 16:26:25 +01:00
pablomartincalvo
02dfa06b36
Añadidos requirements.
2018-11-17 12:58:16 +01:00
pablomartincalvo
df07497125
Correciones para deteccion de anuncios dados de baja.
...
Mejoras en script de deployment.
2018-11-16 18:20:50 +01:00
pablomartincalvo
71456d3c92
Adaptado capturer y base de datos para soportar datos de m2 con
...
decimales.
2018-11-05 20:49:54 +01:00
pablomartincalvo
403bb2c0cc
Mas correciones menores para testing.
2018-11-04 19:52:47 +01:00
pablomartincalvo
94b604997c
Mas correciones menores para testing.
2018-11-02 19:21:52 +01:00
pablomartincalvo
906d8b5cd9
Mas cambios en deployer.
2018-11-01 19:50:38 +01:00
pablomartincalvo
9a7ba03cd9
Avances en sistema de deployment y configuracion.
2018-10-29 21:57:20 +01:00
pablomartincalvo
06e1f78f40
Testeando error en geocoder.
2018-10-23 20:49:37 +02:00
pablomartincalvo
600ff889be
Retoques menores en geocoder y capturer por problemas de tipos.
2018-10-20 15:58:37 +02:00
pablomartincalvo
4edff2e0c1
Siguen los retoques. Tests locales exitosos, listo para mover a entorno
...
de pruebas y dejar corriendo junto a explorer.
2018-10-13 17:45:42 +02:00
pablomartincalvo
6a0baf4de6
Testeos en desarrollo del sistema de capturas. Pequeños retoques.
2018-10-13 02:08:58 +02:00
pablomartincalvo
240a61649c
Cambios notables. Creadas interfaces para la tabla de capturing task
...
y la tabla de capturas.
Traslado todo lo relacionado a Geocoding a un servicio independiente
del capturer.
Replanteo totalmente el parseo del html, creando un objeto nuevo.
2018-10-06 19:09:44 +02:00
pablomartincalvo
7a795d1fb8
Finalizado modulo de alertas. Testeado clase ExploringTask a fondo.
2018-09-09 19:22:21 +02:00
pablomartincalvo
5eedb037ed
Correcciones en wrapper_mysql y avance en metodos de explorer. Iniciado modulo de alertas.
2018-08-30 19:38:31 +02:00
pablomartincalvo
e466986721
Mas avances en el explorer
2018-08-14 20:02:40 +02:00
pablomartincalvo
c0b398b9c6
Creado clase de Exploring Task. Creado modulo de scraping utils
2018-08-12 23:14:47 +02:00
pablomartincalvo
b1b7de13f8
Finalizado la primera version del wrapper de Mysql. Empezado a trabajar en el cuerpo del explorer
2018-08-09 20:55:04 +02:00
pablomartincalvo
0278ea68a0
Empezado a trabajar en clase de conexion a MySQL
2018-08-08 21:16:25 +02:00
