“Octoparse ha fatto un ottimo lavoro non solo nel data scraping, ma anche nel comprendere i progetti e le esigenze del centro. I dati raccolti dagli spazi online sarebbero stati inutili se Octoparse non avesse compreso l’intero scopo del progetto.”
— Jinho Jung, Ricercatore Associato, Center for Food Demand Analysis and Sustainability, Purdue University
Il Cliente: Analisi e dati settore agroalimentare
Il Center for Food Demand Analysis and Sustainability (CFDAS) è un centro di ricerca all’interno del College of Agriculture della Purdue University. Operando come un avanzato osservatorio prezzi alimentari, la sua missione è migliorare il flusso di dati sui consumatori e sui mercati, aiutando gli acquirenti a fare scelte più consapevoli e consentendo alle aziende, ai decisori politici e agli agricoltori di ottimizzare il sistema alimentare.
La Sfida: Scalare il monitoraggio prezzi online
Il CFDAS aveva la necessità di raccogliere dati su oltre 2 milioni di prodotti da 20 catene di supermercati online, ogni singolo giorno. Ciò richiedeva server più veloci, maggiore spazio di archiviazione e un trasferimento dati in tempo reale su larga scala. Il centro doveva inoltre aggregare tutte le informazioni raccolte in una dashboard interattiva, affinché il pubblico potesse analizzare quotidianamente i costi dei prodotti e l’inflazione carrello della spesa, con suddivisioni per regione e categoria.
Eseguire questa operazione manualmente o tramite scraper personalizzati e instabili non era un’opzione praticabile. Avevano bisogno di una soluzione affidabile e scalabile che potesse tenere il passo con le loro esigenze di ricerca.
La Soluzione per la supply chain alimentare
Il CFDAS ha stretto una partnership con Octoparse per gestire le proprie necessità quotidiane di web scraping. Octoparse ora estrae dati da 20 catene di supermercati online in 5 categorie di prodotti e circa 342 codici postali ogni giorno, aggregando fino a 2,3 milioni di articoli quotidianamente. Il data depot del centro è collegato direttamente all’archiviazione di Octoparse, consentendo un trasferimento delle informazioni in tempo reale e senza ritardi per alimentare costantemente l’osservatorio prezzi alimentari.
Perché scegliere Octoparse
Server più veloci e maggiore spazio di archiviazione per i dati
Il centro doveva raccogliere dati da 20 catene di supermercati online in 5 categorie di articoli e circa 342 codici postali ogni giorno, aggregando fino a 2,3 milioni di prodotti quotidianamente. L’infrastruttura di Octoparse ha gestito questa scalabilità senza alcun compromesso.
Dati dettagliati e ben strutturati
Octoparse ha sviluppato un programma di scraping per ottenere informazioni dettagliate sui prodotti, come articoli, categorie e aree geografiche. Grazie ai dati estratti, la dashboard del centro aiuta produttori, aziende agroalimentari e decisori politici a prendere decisioni volte a migliorare il sistema alimentare, sfruttando i big data in agricoltura per guidare la ricerca sulla nutrizione e sulle innovazioni vegetali.
Gestione quotidiana dei dati più efficiente
La piattaforma di web scraping Octoparse collega il proprio spazio di archiviazione con il data depot del centro per trasferire quotidianamente i dati estratti, consentendo di gestire le informazioni in modo più tempestivo e senza alcun intervento manuale.
Prospettive Future dell’osservatorio prezzi alimentari
Il CFDAS fornisce ora ad aziende agroalimentari, agricoltori e decisori politici dati e approfondimenti tempestivi e accessibili sui costi dei prodotti, sulla produzione, sulla spesa e sulle preferenze dei consumatori. Sfruttando il web scraping su larga scala, il centro sta costruendo un sistema alimentare più efficiente e vantaggioso per tutti.
