[已解决]求教采集过程中链接抓取的方法

frogjy · 发表于 2018-5-9 12:00:05

直接上链接，不然看不懂

钱多多 · 发表于 2018-5-9 12:45:17

火车采集适合你。搜下7.6版本。好像就可以了

helwo · 发表于 2018-5-9 14:05:15

直接连他数据库想怎么查就怎么查。

gakki · 发表于 2018-5-9 14:27:57

php curl 异步模式了解下?

先生成 url 链接数组比如
url/1.html
url/2.html
url/n.html

然后异步模式把这些内容全部抓取回来
返回的是数组每个数组值就是网页内容
然后 implode() 把所有内容合并为一个

在match里面的链接
就可以提取了

这个模式取决于对方的并发
如果对方并发小需要range生成追加到数组里比如url有2000个每次采100个处理一次然后追加

PHP是最好的语言手动滑稽....

全球资源提供商 · 发表于 2018-5-9 14:47:42

玩点骚的 xpath, css Selector, re, dom tree

		自动登录	找回密码
密码			立即注册

[已解决]求教采集过程中链接抓取的方法

浏览过的版块