有没有能够自动定时抓取某个网站数据的软件或工具？

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 4409 days ago, the information mentioned may be changed or developed.

某个网站有一些数据列表每隔几分钟就会更新一次，但都比较有规律，有没有什么办法能自动抓取这些数据去重后保存为excel格式呢？

抓取

数据

格式

22 replies • 2014-07-17 22:19:34 +08:00

ejin

Jul 14, 2014

excel本身就自带这功能啊(vba)

hging

Jul 14, 2014

Nokogiri

nagato

Jul 14, 2014

@hging 定时的话怎么实现？

wgqzlj

Jul 14, 2014

火车头

bobopu

Jul 14, 2014

@ejin 这个怎么弄，指教一下。

stevenyou

Jul 14, 2014

我用cron tab + beautifulsoup(python) 存成csv
需要执行javascript的话用casperJS

halfcrazy

Jul 14, 2014

kimonolabs

hging

Jul 14, 2014

@nagato 定时如果是rails的话可以写定时任务。其他的开源用crontab系统定时跑脚本。

ejin

Jul 14, 2014

@bobopu 你有代码基础吗

bobopu

Jul 14, 2014 via Android

@halfcrazy 这个东西很好很强大啊，一直就想要这种在线的自动抓取工具。

bobopu

Jul 14, 2014 via Android

@ejin 请讲一下。

ejin

Jul 14, 2014

@bobopu 就是vb/asp的语法啊，搭配xmlhttp，采网页数据很容易的

bobopu

Jul 14, 2014

@ejin 我捣鼓一下。

lu18887

Jul 14, 2014

这种事情最有意思了！

tiiime

Jul 14, 2014

@halfcrazy =.=

bobopu

Jul 14, 2014

@halfcrazy 这个有没有什么办法可以将抓取的内容自动保存呢？现在好像是抓取后不断在覆盖。。

yangqi

Jul 14, 2014

import.io

halfcrazy

Jul 14, 2014

@bobopu 你可以在设置的地方设置一下定时抓取，然后你本地也定时抓取并存储就好。输出的格式反正都很好解析的，

bobopu

Jul 17, 2014

@halfcrazy 我想用的输出的csv格式，用excel远程调用后也会随着每次的刷新的覆盖之前的数据，有没有什么可以追加保存的办法？

bobopu

Jul 17, 2014

@ejin 请问excel从web获取数据后有没有什么办法追加保存呢，目前都是每次刷新覆盖了之前的数据了。

ejin

Jul 17, 2014

@bobopu 自己拼接下咯

bobopu

Jul 17, 2014

@ejin 花钱找了个人给我编了套vba过两天给我，可以实现自动追加。