Java 網路資料爬蟲包

<dependency>
 <groupId>com.github.abola</groupId>
 <artifactId>crawler</artifactId>
 <version>1.1.1</version>
</dependency>

dependencies {
 compile 'com.github.abola:crawler:1.1'
}

// URI format source
String uri = "https://raw.githubusercontent.com/abola/CrawlerPack/master/test.json";
 
CrawlerPack.start()
 .getFromJson(uri)
 .select("results name").text() ;

爬蟲包特色

支援常見網路協定

支援常見資料格式

支援 中文XML標籤 / 中文JSON欄位

<集合>
 <元素>元素名稱1</元素>
 <元素>元素名稱2</元素>
</集合>

{"集合":[
 {"元素":"元素名稱1"}
 , {"元素":"元素名稱2"}
]}

自動偵測遠端資料編碼

// TWSE 2015'三大法人買賣金額統計表
String uri = "http://www.twse.com.tw/ch/trading/fund/BFI82U/BFI82U_print.php"
 +"?begin_date=20150101&end_date=20151231&report_type=month";
CrawlerPack.start()
 .setRemoteEncoding("big5") // 直接指定遠端編碼
 .getFromHtml(uri)
 .select("table.board_trad > tbody > tr:nth-child(7) > td:nth-child(4)").text()

一般使用範例

JSON format example

// 即時PM2.5資料
String uri = "http://opendata2.epa.gov.tw/AQX.json";
CrawlerPack.start()
 .getFromJson(uri)
 .getElementsByTag("pm2.5").text();

XML format example

// 104司人力銀行上 10萬月薪以上的工作資料
String uri = "http://www.104.com.tw/i/apis/jobsearch.cfm?order=2&fmt=4&cols=JOB,NAME&slmin=100000&sltp=S&pgsz=20";
 
CrawlerPack.start()
 .getFromXml(uri)
 .select("item").get(0).attr("job") ;

Html format example

// ptt 笨版最新文章列表
String uri = "https://www.ptt.cc/bbs/StupidClown/index.html";
CrawlerPack.start()
 .getFromHtml(uri)
 .select("div.title > a").text();

set userAgent example (CrawlerPack >= 1.1)

System.out.println(
 CrawlerPack.start()
 .setUserAgent("")
 .getFromHtml(uri)
 .select("*")
); 

Cookie example

// ptt 八掛版創立首篇廢文標題
String uri = "https://www.ptt.cc/bbs/Gossiping/M.1119222611.A.7A9.html";
CrawlerPack.start()
 .addCookie("over18","1") // 必需在 getFromXXX 前設定Cookie
 .getFromHtml(uri)
 .select("span:containsOwn(標題) + span:eq(1)").text();

Compressed data example (gzip/gz)

// 北市Youbike資訊
String uri = "gz:https://tcgbusfs.blob.core.windows.net/blobyoubike/YouBikeTP.gz";
// 列出所有大安區內的租借站
CrawlerPack.start()
 .getFromJson(uri)
 .select("retVal > *:contains(大安區)")

Compressed data example (zip)

// 內政部實價登錄
String uri = "zip:http://plvr.land.moi.gov.tw"
 + "/Download?type=zip&fileName=lvr_landxml.zip"
 + "!/A_LVR_LAND_A.XML"; // 解壓縮後取出的檔案路徑+名稱
// org.jsoup.select.Elements
Elements elems = CrawlerPack.start()
 .getFromXml(uri)
 .select("買賣");
for(Element elem: elems){
 System.out.println(
 elem.select("鄉鎮市區").text() +
 "," + elem.select("總價元").text()
 );
}

Tips

指定文件編碼

// TWSE 2015'三大法人買賣金額統計表
String uri = "http://www.twse.com.tw/ch/trading/fund/BFI82U/BFI82U_print.php"
 +"?begin_date=20150101&end_date=20151231&report_type=month";
# Guava Stopwatch
Stopwatch timer = Stopwatch.createStarted();
CrawlerPack.start()
 .getFromHtml(uri);
System.out.println( timer.stop().toString() );
// avg 600ms 

Stopwatch timer = Stopwatch.createStarted();
CrawlerPack.start()
 .setRemoteEncoding("big5")
 .getFromHtml(uri);
System.out.println( timer.stop().toString() );
// avg 480ms 

設定 User Agent

除錯 (CrawlerPack >= 1.1)

// set to debug level
CrawlerPack.setLoggerLevel(SimpleLog.LOG_LEVEL_DEBUG);
 
// turn off logging
CrawlerPack.setLoggerLevel(SimpleLog.LOG_LEVEL_OFF);

Change log

1.1.1

1.1

1.0.3-1

1.0.3

1.0.2

1.0.1

1.0.0

0.9.2

0.9.1

Reference