爬虫,想用到 phantomjs模块 求大神指点 - CNode技术社区

想要爬取 网易新闻但是网上的很多教程只爬取了一部分,怎么样用phantomjs 来模拟点击加载更多按钮和 1500862799(1).jpg 这些选项按钮呢

# ++==^ 粗体^==++ # 来自VueCnodeMD

如果是link的话就是访问新的网页进行抓取,如果是按钮加载更多 你也可以看🌰 里面有我之前写的笔记

var result = await page.evaluate(function() {
				 //...找到按钮模拟点击。
				 var element = document.getElementByid('...')
				 element.click()
				 return ...
			})

不需要模拟点击直接请求不同的链接就好了 如果是点击按钮使用ajax渲染的话就直接抓ajax链接

@without-yy 嗯嗯 这种方法我懂,但是当处理大量数据的时候不能一个个再抓取ajax链接了不是

@Sunshine168 谢谢大神,我看了一点你的文章,写的很棒,还没有完全懂,准备好好研究一下

这种站点也需要phantomjs???

@yyrdl 拿这个练手,想用一下这种方法