Web scraping nel cloud
Automatizza lo scraping di dati web con server cloud
L'estrazione cloud esegue le attività create in Octoparse sui server cloud di Octoparse anziché sul tuo PC. Puoi così mantenere un monitoraggio dei prezzi quotidiano e una raccolta periodica su più siti senza lasciare acceso il computer.
L'estrazione cloud e la programmazione delle esecuzioni sono disponibili per i piani a pagamento.
Come si svolge un'attività cloud
Il flusso dopo la configurazione, a colpo d'occhio
Programmazione
Parte ogni giorno alle 09:00
Estrazione cloud
Funziona senza il tuo PC
Esportazione dei dati
Salvati e consegnati nel formato che ti serve
I tempi di esecuzione e i risultati effettivi variano in base alla struttura del sito di destinazione, al suo comportamento di risposta e alle impostazioni dell'attività.
Perché scegliere l'estrazione cloud
Raccolta di dati web continua, indipendente dal tuo PC
Eseguendo le attività sui server cloud di Octoparse, la tua raccolta dati non dipende più dalla disponibilità di un dispositivo locale. Esecuzioni programmate, più attività in parallelo ed esportazione automatica al termine si collegano in un unico flusso.
PC SPENTO
Funziona senza occupare il tuo dispositivo
Mentre è in corso un'estrazione cloud non devi tenere Octoparse aperto sul PC. Anche le raccolte lunghe lasciano liberi i dispositivi del team per altre attività.
24 ore
Le attività proseguono nel cloud
Le attività che hai configurato girano nell'ambiente cloud di Octoparse, indipendentemente dallo stato del tuo PC o dalla rete aziendale.
Minuti, ore, giorni
Esecuzioni programmate al ritmo degli aggiornamenti
Imposta programmazioni al minuto, all'ora, al giorno, alla settimana o al mese e segui con continuità le variazioni di prezzi, schede di punti vendita e altro ancora.
Più attività
Esegui in parallelo mentre cresci
Esegui in parallelo un'attività per ciascun sito di destinazione, nei limiti delle esecuzioni e del numero di server cloud inclusi nel tuo piano.
Rotazione IP
Gli IP cloud ruotano per ogni sottoattività
L'estrazione cloud usa gli IP cloud di Octoparse anziché quello del tuo PC. Gli IP ruotano per ogni sottoattività e vengono riassegnati in modo casuale all'esecuzione successiva, riducendo il rischio che il tuo IP locale venga limitato per un eccesso di richieste concentrate.
Esecuzioni cloud incluse nell'abbonamento
24ore x 30gg
Mantieni l'estrazione cloud attiva tutto il mese
Dal Piano Standard in su, l'estrazione cloud è inclusa nell'abbonamento mensile o annuale e non viene addebitata in base al tempo di esecuzione o ai record raccolti. Le tue attività possono girare in continuo per tutta la durata dell'abbonamento, senza tenere acceso un PC.
Il numero di server cloud, di esecuzioni simultanee e di attività disponibili varia in base al piano. Alcuni servizi, inclusi determinati modelli, possono avere un prezzo a parte.
Come funziona l'estrazione cloud
Dalla configurazione ai dati pronti all'uso in un unico flusso
Quattro passaggi coprono tutto ciò che serve per iniziare: creare l'attività, configurare l'ambiente di esecuzione, programmare l'estrazione cloud ed esportare i dati.
PASSAGGIO 01
Crea la tua attività
Puoi creare un'attività personalizzata configurando tu stesso i campi e le azioni sulla pagina, oppure partire da un modello già pronto.
Due modi per creare un'attività
Creare un'attività personalizzata
Carica l'URL di destinazione e configura a schermo clic, impaginazione, login e i campi da acquisire. Copre anche pagine complesse ed esigenze di raccolta specifiche.
Partire da un modello
Scegli un modello adatto al sito di destinazione, inserisci parametri come parole chiave o area geografica e inizia subito a raccogliere dati.
Le attività salvate si possono riutilizzare: nel passaggio successivo configuri le esecuzioni cloud e le programmazioni ricorrenti.
Attività personalizzata 
Schede di negozi su Google MapsModello 
PASSAGGIO 02
Configura l'esecuzione
Per le attività personalizzate, apri le impostazioni di esecuzione prima di avviare per regolare l'ambiente di esecuzione, incluso il browser integrato e il gruppo di server cloud. In base al sito di destinazione puoi scegliere un ambiente tra gruppi di server cloud situati in diversi Paesi e regioni. Attivando l'estrazione incrementale, gli URL già raccolti vengono confrontati in modo da recuperare solo le pagine nuove. Il confronto può basarsi sull'URL completo o su parametri di URL specifici.
- Imposta browser integrato e User-Agent in base all'attività
- Scegli gruppi di server cloud in più Paesi e regioni
- Suddividi un'attività ed eseguila in parallelo in base al numero di server cloud del tuo piano
- Usa l'estrazione incrementale per saltare gli URL già raccolti e recuperare solo le pagine nuove
Regola ambiente di esecuzione ed estrazione incrementale nelle impostazioni di esecuzione 
PASSAGGIO 03
Imposta una programmazione
Seleziona l'attività, apri il menu delle esecuzioni programmate e scegli di aggiungere una programmazione per l'estrazione cloud. Imposta frequenza e orario di avvio: l'attività verrà eseguita automaticamente nel cloud secondo quella programmazione.
Imposta i programmi 
Imposta frequenza e orario di avvio 
Eseguire un'estrazione cloud una tantum
Per eseguire una sola volta senza salvare una programmazione, scegli Esegui nel cloud all'avvio dell'attività. L'elaborazione avviene sui server cloud di Octoparse, quindi il tuo PC non resta occupato e l'attività prosegue anche dopo averlo spento.
Scegli Esegui nel cloud e avvia 
Esecuzioni una tantum e programmate dalla CLI
Octoparse CLI ti permette di avviare un'attività una sola volta da riga di comando e supporta anche le esecuzioni programmate tramite cron, CI/CD o lo scheduler aziendale. Poiché la tempistica è gestita dallo scheduler, i batch notturni e gli aggiornamenti periodici partono senza che nessuno apra l'app desktop.
Scopri di più sulla CLIPASSAGGIO 04
Salva e integra
Esporta i dati raccolti direttamente sul tuo dispositivo in Excel, CSV, JSON e altri formati di file. Puoi inoltre inviarli a Google Sheets, database e servizi di cloud storage come Google Drive, Dropbox e Amazon S3. Configurando l'esportazione automatica collegata alla programmazione, i dati arrivano a destinazione non appena l'attività termina, pronti da consultare, condividere e utilizzare.
Le destinazioni disponibili e le funzioni di esportazione automatica variano in base al piano.
Scegli destinazione e formato 
Esporta automaticamente dopo ogni esecuzioneVedi le impostazioni
Combina programmazione ed esportazione automatica per trasformare raccolta periodica e consegna a destinazione in un unico flusso automatizzato.
Scegli cosa esportare automaticamente 
Indica destinazione e formato di esportazione 
Come scegliere l'ambiente di esecuzione
Estrazione cloud, esecuzione locale e soluzione interna
L'approccio giusto dipende da quanto spesso raccogli dati, dal tempo che puoi dedicare alla manutenzione e da quanto devi scalare. Flask serve a esporre logica Python via HTTP: l'infrastruttura di esecuzione, VPS compreso, e la sua manutenzione restano a tuo carico.
| Criterio | Estrazione cloud di Octoparse | Esecuzione locale di Octoparse | Python gestito internamente (VPS e Flask inclusi) |
|---|---|---|---|
| Ideale per | Monitoraggio periodico, più attività, operatività continua senza PC | Prove, piccole raccolte una tantum, verifica immediata dei risultati | Logica su misura o integrazione profonda con i sistemi interni |
| Programmazione | In genere non serve | In genere non serve | Richiede progettazione, sviluppo e test |
| Esecuzioni programmate | Programmazione disponibile nei piani supportati | Dipende dal fatto che il dispositivo sia acceso | Gestione dei job e degli incidenti da costruire internamente |
| Gestione e manutenzione | Più facile concentrarsi su impostazioni e risultati delle attività | Controlli tu dispositivo, rete e attività | Mantieni tu codice, server, dipendenze e monitoraggio |
| Scalabilità | Più attività nei limiti delle esecuzioni previste dal piano | Limitata da prestazioni e disponibilità del dispositivo | Richiede dimensionamento dei server e progettazione del controllo esecuzioni |
Se un'API ufficiale copre i dati e la frequenza di aggiornamento che ti servono, verifica prima le sue condizioni d'uso. Python è adatto quando vuoi un controllo fine su elaborazioni su misura; Octoparse è adatto quando vuoi raccogliere dati in continuo senza scrivere codice.
Dove si applica
Per il lavoro che significa seguire gli aggiornamenti
Più spesso controlli le stesse informazioni alle stesse condizioni, più estrazione cloud e programmazione danno risultati.
Vedi tutti i modelliRaccolta periodica di schede di punti vendita
Raccogli con regolarità, per area e per settore, ragioni sociali e insegne, indirizzi, numeri di telefono, orari di apertura e categorie, e tieni traccia di nuove aperture e modifiche alle schede. Utile per aggiornare le liste di potenziali clienti, gli studi di localizzazione e le analisi del bacino d'utenza.
Usa un modello per le schede dei punti venditaMonitora prezzi e disponibilità su Amazon e non solo
Raccogli con regolarità prezzi, disponibilità e recensioni dei prodotti della concorrenza e del tuo assortimento da Amazon e da altri siti e-commerce, per seguire le variazioni e costruire uno storico.
Vedi lo scraper per AmazonSegui nuovi articoli, offerte di lavoro e annunci
Acquisisci in continuo gli stessi campi da articoli, offerte di lavoro e annunci immobiliari man mano che vengono pubblicati, e dai ordine al lavoro di verifica del team.
Vedi i modelli per le offerte di lavoroCostruisci un archivio dati da più siti
Suddividi le attività per sito di destinazione e frequenza di aggiornamento e accumula i dati alla base dei tuoi report settimanali o mensili e delle tue analisi di mercato.
Vedi il Piano EnterpriseStabilità e scalabilità
Gestisci nel cloud raccolte lunghe e su larga scala
Nei piani supportati puoi suddividere le attività per eseguirle in parallelo e gestirne diverse contemporaneamente. Invece di caricare tutto su un solo dispositivo, organizza le esecuzioni per sito di destinazione e frequenza di aggiornamento. Detto questo, l'esecuzione nel cloud da sola non garantisce il buon esito dell'estrazione: conviene progettare l'operatività prevedendo la verifica dei risultati.
Quattro punti per un'operatività continua
- Separa le attività per sito di destinazione e frequenza di aggiornamento
- Suddividi le attività lunghe in intervalli più piccoli e distribuiscile nell'arco della giornata
- Controlla con regolarità numero di record, dati mancanti e log di esecuzione
- Verifica errori e timeout, correggi la causa e riavvia l'attività
Quando fai web scraping, verifica le condizioni d'uso del sito di destinazione, il suo robots.txt, gli aspetti relativi a dati personali e diritto d'autore e il carico di richieste che generi.
Monitoraggio operativo
Aggrega via API lo stato di esecuzione di tutte le attività
Nei piani supportati, la Task Performance Analytics API restituisce numero di esecuzioni, tasso di successo, volume raccolto e utilizzo delle risorse su base giornaliera, settimanale o mensile. Integrala nei tuoi strumenti di monitoraggio o nei report periodici per tenere sotto controllo più attività nel tempo.
Un calo improvviso del tasso di successo o del volume raccolto è un buon segnale per verificare se sono cambiate la struttura o le condizioni di accesso del sito di destinazione. In caso di anomalia, controlla log di esecuzione e risultati e modifica l'attività se necessario.
Consulta la documentazione dell'API di analisi delle attivitàEsportazione e integrazione
Esporta nel formato richiesto dal passo successivo
Scegli il metodo adatto al tuo obiettivo: analisi sul tuo dispositivo, condivisione con il team o integrazione in un sistema esistente. Le destinazioni disponibili e le funzioni di automazione variano in base al piano.
Excel e CSV
Esporta in formati facili da gestire nei fogli di calcolo e da condividere internamente.
JSON e XML
Formati adatti all'elaborazione dei dati e al passaggio verso altri strumenti.
Google Sheets
Alimenta un foglio che il tuo team può consultare e condividere.
API e database
Con i piani supportati puoi integrare i dati nei tuoi flussi di lavoro esistenti.
Cloud storage
Esporta verso Google Drive, Dropbox, Amazon S3 e altri servizi, per la condivisione e le elaborazioni successive.
Estrazione cloud ed esecuzioni programmate: domande frequenti
Automatizza la raccolta di dati web che ripeti
Comincia creando un'attività di raccolta e definisci la frequenza e il formato dei dati che ti servono. Se prevedi di usare estrazione cloud ed esecuzioni programmate, verifica quali piani le includono.