Esploriamo il web per te!

Crawling automatizzato di siti e pagine web

Web Crawler è un insieme di strumenti software tramite cui Synaptica offre un servizio di esplorazione automatizzata del web estremamente flessibile e configurabile. Tramite Web Crawler è possibile impostare ed eseguire campagne di esplorazione massiva di siti e pagine web estraendone ed interpretandone contenuti e dati di interesse per strutturarli in report interamente personalizzabili. Web Crawler è in grado di interagire con le pagine web compilando form e inserendo dati sulla base di profili differenziati e, in questo modo, di registrare l’esito di wizard e processi anche molto complessi come, ad esempio, quelli caratteristici dei preventivatori online. Grazie ad un accurato sistema di monitoring e verifica dei dati di output è possibile ottenere risultati ad elevata attendibilità e con la massima sicurezza. La suite è basata sull’utilizzo di un software proprietario (imacros) ed è composta da questi moduli:

iMacroDriver è un software Synaptica che permette di avviare in parallelo più istanza di iMacros da input e output unici e, quindi, di minimizzare i processi di estrazione anche di grandi moli di dati semplicemente aumentando il grado di parallelismo. iMacroDriver consente di catturare il risultato dell’estrazione e popolare in tempo reale un foglio dati (es. in formato excel) con i risultati del crawling. iMacroDriver è in grado anche di effettuare controlli di consistenza e coerenza dei dati di output, notificare la presenza di errori fino a permettere di acquisire screenshot delle pagine visitate, dei dati inseriti e degli esiti delle procedure. Captcha Server/Client vista la presenza sempre crescente di meccanismi di protezione dei form nelle pagine web tramite Captcha per questo tipo di applicazioni risulta indispensabile usufruire di servizi di decodifica del captcha in tempo reale. Ne esistono numerosi ma spesso è necessario utilizzarne più di uno contemporaneamente e anche così non sempre è garantita la corretta decodifica e compilazione del captcha. Per questo Captcha Server, oltre ad essere in grado di interfacciarsi con provider di decodifica multipli in parallelo, permette anche tramite una semplice applicazione client, disponibile sia per Windows che per Android, di ricevere i captcha e gestire manualmente la decodifica di quelli più ostici e non decodificati dai provider.