Javascript - web scraping in presenza di framework AngularJS

Forum - Javascript - web scraping in presenza di framework AngularJS

cuore napoletano (Normal User)
Pro

Messaggi: 129
Iscritto: 03/02/2011

Postato alle 16:14
Sabato, 30/09/2017

Buongiorno, ho bisogno di estrarre da una pagina web un dato.Normalmente utilizzo il metodo del web scraping
individuando il tag dove è racchiuso il dato.
La pagine in questione utilizza il framework AngularJS per cui il dato non appare "in chiaro" nel sorgente.
Sapere se esistono soluzioni a questo problema? Grazie

GN (Member)
Guru

Messaggi: 772
Iscritto: 30/04/2011

Postato alle 23:49
Domenica, 01/10/2017

Dipende da com'è fatta la pagina, ma molto probabilmente carica i dati tramite una richiesta AJAX in un formato come JSON o XML. Potresti provare a intercettare le richieste usando i dev tools del browser mentre la pagina è aperta, ispezionare le risposte del server e vedere se trovi il dato che ti interessa. A questo punto nel tuo programma invece che scaricare la pagina scarichi direttamente il file che la pagina richiede e parsi quello.

cuore napoletano (Normal User)
Pro

Messaggi: 129
Iscritto: 03/02/2011

Postato alle 14:53
Martedì, 03/10/2017

Ciao grazie.Sto riflettendo sulla tua risposta e mi chiedo se quello che intendi riguarda XMLHttpRequest?

Ultima modifica effettuata da cuore napoletano il 03/10/2017 alle 15:31

GN (Member)
Guru

Messaggi: 772
Iscritto: 30/04/2011

Postato alle 21:50
Martedì, 03/10/2017

Sì, intendevo esattamente che di solito le pagine che usano quei framework e che mostrano nel browser dati che non si trovano nel sorgente della pagina stessa, li caricano tramite AJAX/XMLHttpRequest.