Webbot e Spider
I ragni della Rete
Internet Explorer, Firefox o Safari sono strumenti non abbastanza affilati per impadronirsi appieno delle informazioni che circolano online: questa è la convinzione che muove l'autore del volume.
Ragni, webbot e spider, cioè programmi in grado di lavorare in autonomia, come robot, sono gli strumenti al servizio di sviluppatori e uomini d'affari desiderosi di avere più dati, più in fretta (e senza dover passare attraverso i "soliti" motori di ricerca o la "normale" navigazione web), per raggiungere vantaggi competitivi nel proprio business.
I lettori possono imparare a scrivere i propri ragni, utilizzando PHP e CURL, per automatizzare numerose operazioni, dapprima semplici quindi via via più complesse.
Esempi pratici rafforzano le nozioni acquisite, per giungere a un livello di sofisticazione tale da creare spider sempre più potenti, in grado di svolgere analisi di mercato, catturare anonimamente migliaia di informazioni, rilanciare all'ultimo minuto nelle aste online e molto di più.
Argomenti in breve:
- Introduzione alla logica dei "ragni"
- Siti web che facilitano o ostacolano gli spider
- La cassetta degli attrezzi: PHP e CURL
- Automatizzare operazioni comuni: scaricare pagine web, tecniche di parsing, gestire grandi quantità di informazioni, inviare dati via form
- Automatizzare operazioni complesse: monitorare prezzi, verificare link, mantenere l'anonimato, valutare il rank di pagine web, aggregare news, gestire connessioni FTP, leggere e inviare e-mail
- Sempre più difficile: acquisti per procura, uso della crittografia, problemi di autenticazione, gestione dei cookie
- Fattori da non trascurare: non dare nell'occhio, ridurre le possibilità di errore, essere rispettosi per evitare guai
