golang:xpath选择器"htmlquery"简单用法

在做爬虫时,经常要用到html解析器提取数据,Python里面有神器lxml,go里面可以选择htmlquery或者goquery。其中htmlquery使用xpath选择器,goquery使用css选择器。就使用体验来说,htmlquery更方便一些,这儿主要介绍htmlquery的一些基本用法。

htmlquery是用于HTML的XPath数据提取库,可让通过XPath表达式从HTML文档中提取数据,使用起来很简单方便。xpath语法见https://www.w3school.com.cn/xpath/xpath_syntax.asp。

htmlquery安装:

go get github.com/antchfx/htmlquery

经常使用到的函数有:
func Parse(r io.Reader) (*html.Node, error):
返回给定Reader的HTML的解析树。
func Find(top *html.Node, expr string) []*html.Node:
搜索与指定XPath表达式匹配的html.Node。
func FindOne(top *html.Node, expr string) *html.Node:
搜索与指定XPath 表达式匹配的html.Node,并返回匹配的html.Node的第一个元素。可以简单理解为FindOne = Find[0]。
func InnerText(n *html.Node) string:
返回对象的开始和结束标记之间的文本。
func SelectAttr(n *html.Node, name string) (val string):
返回指定名称的属性值。
func OutputHTML(n *html.Node, self bool) string:
返回包含标签名称的文本。

最后以爬取https://www.kuaidaili.com/free/网站代理为例,演示htmlquery的用法:

package main
import (
 "fmt"
 htmlquery "github.com/antchfx/xquery/html"
 "io/ioutil"
 "log"
 "net/http"
 "strings"
 "time"
)
func main() {
 urlTemplate := "https://www.kuaidaili.com/free/inha/%d/"
 var proxies []string
 for i := 1; i < 4; i++ {
 html := getHtml(fmt.Sprintf(urlTemplate, i))
 root, _ := htmlquery.Parse(strings.NewReader(html))
 tr := htmlquery.Find(root, "//*[@id='list']/table/tbody/tr")
 for _, row := range tr {
 item := htmlquery.Find(row, "./td")
 ip := htmlquery.InnerText(item[0])
 port := htmlquery.InnerText(item[1])
 //type_ := htmlquery.InnerText(item[3])
 p := ip + ":" + port
 proxies = append(proxies, p)
 }
 time.Sleep(3 * time.Second)
 }
 fmt.Println(len(proxies), proxies[0:5])
}
func getHtml(url_ string) string {
 req, _ := http.NewRequest("GET", url_, nil)
 req.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3776.0 Safari/537.36")
 client := &http.Client{Timeout: time.Second * 5}
 resp, err := client.Do(req)
 if err != nil {
 log.Fatalln(err)
 }
 defer resp.Body.Close()
 data, err := ioutil.ReadAll(resp.Body)
 if err != nil && data == nil {
 log.Fatalln(err)
 }
 return fmt.Sprintf("%s", data)
}

>go run demo.go
45 [182.34.36.64:9999 113.124.93.135:9999 117.90.252.100:9000 171.15.51.71:9999 1.198.110.34:9999]

本文来自:简书

感谢作者:aside section._1OhGeD

查看原文:golang:xpath选择器"htmlquery"简单用法

• 编辑
• 预览