Sofware sencillo para hacer web scraping?

La cosa es que tengo que necesito un sofware para hacer las bases de datos, en vez de ir copiando nombre, email y numero de telefono uno a uno de las paginas web. Alguien sabe si existe algún sofware sencillo para hacer esto automaticamente?
Dudaconpc escribió:La cosa es que tengo que necesito un sofware para hacer las bases de datos, en vez de ir copiando nombre, email y numero de telefono uno a uno de las paginas web. Alguien sabe si existe algún sofware sencillo para hacer esto automaticamente?


Cada web es un mundo, alguno habrá de emails pero cuando quieres datos concretos te va tocar programartelo.

Tienes jsoup para java, BeautifulSoup para python entre otros tantos.

Si la web genera unos datos mediante javascript necesitaras incorporar un motor javascript al scraping, ahi tienes:

http://phantomjs.org/
https://github.com/GoogleChrome/puppeteer

Aquí tienes un listado completo:

https://github.com/dhamaniasad/HeadlessBrowsers
Sencillo como tal no estoy seguro de que haya nada, tendrías que trastear con Selenium por ejemplo en algún lenguaje, como java o python, y usar un webdriver, como el de firefox, chrome, opera o PhantomJS (no gráfico). Luego ir programando todo, que vaya navegando por donde quieres, pillar el codigo fuente, procesarlo, sacar los datos, etc.
2 respuestas