请问一下有没有用node写的爬取淘宝商品的代码? - CNode技术社区

需求是通过一个或多个淘宝商品的链接,爬取到这个商品的信息,包括详情,sku等等。本人没有接触到爬虫,求分享一下,谢谢。

淘宝大部门信息是通过异步接口获取的 直接请求页面是拿不到那些信息的 可以使用容器运行页面然后注入js脚本的方式获取。 我使用electronjs 写过一个爬淘宝 JD商品图片的桌面应用.就是使用的脚本注入

@xuanxia 我不会爬虫的...项目有这个功能。

详情和SKU容易,某些字段不容易(不是说无法获取,只是技术成本会高),比如各种价格,优惠券,促销信息

淘宝好像限制ip要手动验证的吧

首先,你得搞定淘宝的ua

然后,数据爬取都是小问题

好吧,谢谢大家的回答,这可能不属于我的范围了。

建议使用Python爬取数据, 用Python写一个脚本,放服务器上做定时处理。。。 使用Requests 模块 发送网络请求非常简单 前段时间写过一个带账号密码登录、爬取数据、处理数据、读写数据的脚本,整体下来不过100行代码

@xuanxia 这个爬速是不是太慢了?

@dqr33468asd 以前好像没限制?

可以使用:casperjs 关键代码:

// 抓取图片的宽高
var imageSize = '_200x200'
// 抓取的分类
var queryKey = ['棕色 衬衫', '棕色 t恤', '棕色 外套', '棕色 卫衣', '棕色 裤子']
// 抓取返回页面dom结构里的图片
function getImages() {
 var images = document.querySelectorAll('#mainsrp-itemlist img');
 return Array.prototype.map.call(images, function (e) {
 // 因为淘宝用了懒加载的形式,所以图片路径放在了data-src下
 return e.getAttribute('data-src');
 });
}
// 过滤重复的图片
Array.prototype.unique = function () {
 var res = [];
 var json = {};
 for (var i = 0; i < this.length; i++) {
 if (!json[this[i]]) {
 res.push(this[i]);
 json[this[i]] = 1;
 }
 }
 return res;
}
// 爬多个关键字,直接创建多个casper实例
queryKey.forEach(function (keyword) {
 console.log(keyword)
 var casper = require('casper').create({
 pageSettings: {
 loadImages: false
 }
 })
 new process(casper, keyword)
})
// 这是爬取关键代码,第一步,在搜索框输入关键字,进行搜索
function process(casper, keyword) {
 var images = []
 casper.start('https://www.taobao.com/', function () {
 this.waitForSelector('form[action="//s.taobao.com/search"]');
 });
 casper.then(function () {
 this.fill('form[action="//s.taobao.com/search"]', { q: keyword }, true);
 });
// 等两秒钟,让页面跳转
 casper.wait(2000)
 // 收集图片地址
 for (var j = 0; j < 4; j++) {
 casper.then(function () {
 this.waitForSelector('#mainsrp-pager', function () {
 this.echo('正在爬取---' + keyword)
 if (j > 0) this.clickLabel('下一页', 'span')
 this.wait(2000, function () {
 this.scrollToBottom()
 images = images.concat(this.evaluate(getImages));
 })
 })
 });
 }
 // 下载图片
 casper.then(function () {
 console.log(images.length)
 images = images.unique()
 console.log(images.length)
 for (var i = 0; i < images.length; i++) {
 if (images[i]) {
 this.echo('正在下载 ' + keyword + i)
 this.download('http:' + images[i] + imageSize + '.jpg', 'data/' + keyword + '/' + i + '.jpg');
 }
 }
 });
 casper.run(function () {
 this.echo('下载完成').exit()
 });
}