Questo sito utilizza cookies, anche di terze parti, per mostrare pubblicità e servizi in linea con il tuo account. Leggi l'informativa sui cookies.
Username: Password: oppure
Javascript -  web scraping in presenza di  framework AngularJS
Forum - Javascript - web scraping in presenza di framework AngularJS

Avatar
cuore napoletano (Normal User)
Pro


Messaggi: 96
Iscritto: 03/02/2011

Segnala al moderatore
Postato alle 16:14
Sabato, 30/09/2017
Buongiorno, ho bisogno di estrarre da una pagina web un dato.Normalmente utilizzo  il metodo del web scraping
individuando il tag dove è racchiuso il dato.
La pagine in questione utilizza il framework AngularJS per cui il dato non appare "in chiaro" nel sorgente.
Sapere se esistono soluzioni a questo problema? Grazie


Giovanni
PM Quote
Avatar
GN (Member)
Guru


Messaggi: 770
Iscritto: 30/04/2011

Segnala al moderatore
Postato alle 23:49
Domenica, 01/10/2017
Dipende da com'è fatta la pagina, ma molto probabilmente carica i dati tramite una richiesta AJAX in un formato come JSON o XML. Potresti provare a intercettare le richieste usando i dev tools del browser mentre la pagina è aperta, ispezionare le risposte del server e vedere se trovi il dato che ti interessa. A questo punto nel tuo programma invece che scaricare la pagina scarichi direttamente il file che la pagina richiede e parsi quello.


PM Quote
Avatar
cuore napoletano (Normal User)
Pro


Messaggi: 96
Iscritto: 03/02/2011

Segnala al moderatore
Postato alle 14:53
Martedì, 03/10/2017
Ciao grazie.Sto riflettendo sulla tua risposta e mi chiedo se quello che intendi riguarda XMLHttpRequest?

Ultima modifica effettuata da cuore napoletano il 03/10/2017 alle 15:31


Giovanni
PM Quote
Avatar
GN (Member)
Guru


Messaggi: 770
Iscritto: 30/04/2011

Segnala al moderatore
Postato alle 21:50
Martedì, 03/10/2017
Sì, intendevo esattamente che di solito le pagine che usano quei framework e che mostrano nel browser dati che non si trovano nel sorgente della pagina stessa, li caricano tramite AJAX/XMLHttpRequest.


PM Quote