分享
爬取京东商品信息的实例 —— Golang
match · · 3660 次点击 · · 开始浏览这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。
安装
1.安装 jd-spider
$ go get github.com/matchseller/jd-spider
2.在你的项目中导入包:
import (
"github.com/matchseller/jd-spider/category"
"github.com/matchseller/jd-spider/price"
"github.com/matchseller/jd-spider/product"
)
用法
1.抓取商品目录
func main(){
categoryUrls, err := category.Crawl()
}
2.抓取商品信息
func main(){
categoryUrls, err := category.Crawl()
if err == nil {
products, _ := product.Crawl(categoryUrls[:10])
}
}
3.抓取价格
func main(){
categoryUrls, err := category.Crawl()
if err == nil {
products, _ := product.Crawl(categoryUrls[:10])
var skuIds []string
for _, v := range products{
skuIds = append(skuIds, v.SkuId)
}
jPrices := price.Crawl(&skuIds)
}
}项目在Github上,欢迎给Star
有疑问加站长微信联系(非本文作者)
入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889
关注微信3660 次点击
添加一条新回复
(您需要 后才能回复 没有账号 ?)
- 请尽量让自己的回复能够对别人有帮助
- 支持 Markdown 格式, **粗体**、~~删除线~~、
`单行代码` - 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
- 图片支持拖拽、截图粘贴等方式上传
收入到我管理的专栏 新建专栏
安装
1.安装 jd-spider
$ go get github.com/matchseller/jd-spider
2.在你的项目中导入包:
import (
"github.com/matchseller/jd-spider/category"
"github.com/matchseller/jd-spider/price"
"github.com/matchseller/jd-spider/product"
)
用法
1.抓取商品目录
func main(){
categoryUrls, err := category.Crawl()
}
2.抓取商品信息
func main(){
categoryUrls, err := category.Crawl()
if err == nil {
products, _ := product.Crawl(categoryUrls[:10])
}
}
3.抓取价格
func main(){
categoryUrls, err := category.Crawl()
if err == nil {
products, _ := product.Crawl(categoryUrls[:10])
var skuIds []string
for _, v := range products{
skuIds = append(skuIds, v.SkuId)
}
jPrices := price.Crawl(&skuIds)
}
}项目在Github上,欢迎给Star