网页数据的随机

显示全部楼层 · 发表于 2016-5-7 16:01:09

其实怎么说呢，就是网页表格的每行数据会定时打乱顺序，本来从第一页到最后一页的表格数据觉着能抓取下来，但这样不就会抓取到重复数据了，求教怎么破（保证抓取完整不重复表格数据）。对了这种网页技术有学术名称吗？

显示全部楼层 · 发表于 2016-5-13 11:00:56

其实只要判断下该数据有没有存过就好了吧。。。

显示全部楼层 · 发表于 2016-5-13 23:09:03

落落的瓶子发表于 2016-5-13 11:00
其实只要判断下该数据有没有存过就好了吧。。。

不过量大就麻烦，虽非科班it人员，但喜欢专研这些技术问题

显示全部楼层 · 发表于 2016-5-14 11:03:45

抓数据，优先是抓全，后处理去重

[其他] 网页数据的随机