golang 开源json库使用笔记

前言,最近项目中需要动态解析json字符串,但是golang标准库提供的json需要事先定义好结构体,不太灵活,因此需要调研不依赖于结构体的json库

目前golang开源json库各自的优缺点

• encoding/json, 官方自带的, 文档最多, 易用性差, 性能差
• go-simplejson, gabs, jason等衍生包, 简单且易用, 易于阅读, 便于维护, 但性能最差
• easyjson, ffjson此类包, 适合固定结构的json, 易用性一般, 维护成本高, 性能特别好
• jsonparser 适合动态和固定结构的json, 简单且易用, 维护成本低, 性能极好

以性能的高低排序: jsonparser > easyjson > encoding/json > go-simplejson, gabs, jason

性能测试, 可见jsonparser的github
buger/jsonparser

golang simplejson使用笔记

• 介绍:

golang标准库的json需要预先定义好结构体,然后才能将json字符串转化为golang的结构体;simplejson这个开源的库可以在不知道json字符串具体结构的情况下进行编码和解码

• 使用:

import (
 simplejson "github.com/bitly/go-simplejson"
)
func case1() {
 //初始化*simpleJson.Json对象
 sj, err := simplejson.NewJson([]byte(jsonStr))
 var v *simpleJson.Json
 
 //获取字段,如果有多级,可以层层嵌套获取
 v = sj.Get(字段名1).Get(字段名2)
 
 //将v的值转化为具体类型的值,MustXXX方法一定可以转化成功
 //若转化不成功,则转化为该类型的零值
 result := v.MustString()
}
func case2() {
 //检查某个字段是否存在 
 _, ok := js.Get("字段名1").CheckGet("字段名2") 
 if ok { 
 fmt.Println("存在!") 
 } else { 
 fmt.Println("不存在") 
 }
 
}

• 总结:

虽然simplejson可以转化一个未知的json,但想要获取到具体的值,仍然需要知道它的类型,这样最后一步转换才能成功

golang jsonparser使用笔记

import "github.com/buger/jsonparser"
...
data := []byte(`{
 "person": {
 "name": {
 "first": "Leonid",
 "last": "Bugaev",
 "fullName": "Leonid Bugaev"
 },
 "github": {
 "handle": "buger",
 "followers": 109
 },
 "avatars": [
 { "url": "https://avatars1.githubusercontent.com/u/14009?v=3&s=460", "type": "thumbnail" }
 ]
 },
 "company": {
 "name": "Acme"
 }
}`)
//根据层级关系取特定的字段名对应的值
jsonparser.Get(data, "person", "name", "fullName")
//如果知道需要取的目标字段的值的类型,可以使用详细的GetXXX方法
jsonparser.GetInt(data, "person", "github", "followers")
// When you try to get object, it will return you []byte slice pointer to data containing it
// In `company` it will be `{"name": "Acme"}`
jsonparser.Get(data, "company")
// If the key doesn't exist it will throw an error
var size int64
if value, err := jsonparser.GetInt(data, "company", "size"); err == nil {
 size = value
}
// You can use `ArrayEach` helper to iterate items [item1, item2 .... itemN]
jsonparser.ArrayEach(data, func(value []byte, dataType jsonparser.ValueType, offset int, err error) {
 fmt.Println(jsonparser.Get(value, "url"))
}, "person", "avatars")
// Or use can access fields by index!
jsonparser.GetInt("person", "avatars", "[0]", "url")
// You can use `ObjectEach` helper to iterate objects { "key1":object1, "key2":object2, .... "keyN":objectN }
jsonparser.ObjectEach(data, func(key []byte, value []byte, dataType jsonparser.ValueType, offset int) error {
 fmt.Printf("Key: '%s'\n Value: '%s'\n Type: %s\n", string(key), string(value), dataType)
 return nil
}, "person", "name")
// The most efficient way to extract multiple keys is `EachKey`
paths := [][]string{
 []string{"person", "name", "fullName"},
 []string{"person", "avatars", "[0]", "url"},
 []string{"company", "url"},
}
jsonparser.EachKey(data, func(idx int, value []byte, vt jsonparser.ValueType, err error){
 switch idx {
 case 0: // []string{"person", "name", "fullName"}
 ...
 case 1: // []string{"person", "avatars", "[0]", "url"}
 ...
 case 2: // []string{"company", "url"},
 ...
 }
}, paths...)

详细解读

如果只是单纯使用Get,返回值有四个,分别是:

value []byte, dataType ValueType, offset int, err error

可以发现,value是一个[]byte类型,实际取值需要手动将其转换为对应的类型;

第二个参数是自动推导的类型,支持的推导类型有:

const (
 NotExist = ValueType(iota)
 String
 Number
 Object
 Array
 Boolean
 Null 
 Unknown 
 )

• 比较有意思的是,它支持通过索引下标去获取数组数据

ret, err := jsonparser.GetInt(data, "person", "avatars", "[0]", "index")

• 可以遍历一个key下的所有key的值

err = jsonparser.ObjectEach(data, func(key []byte, value []byte, dataType jsonparser.ValueType, offset int) error {
 fmt.Printf("Key: '%s'\t Value: '%s'\t Type: %s\n", string(key), string(value), dataType) 
 return nil 
 }, "person", "name")

结果:

Key: 'first' Value: 'Leonid' Type: string
Key: 'last' Value: 'Bugaev' Type: string
Key: 'fullName' Value: 'Leonid Bugaev' Type: string

• 若遍历的key的值不是一个基础类型的数据,例如:

err = jsonparser.ObjectEach(data, func(key []byte, value []byte, dataType jsonparser.ValueType, offset int) error {
 fmt.Printf("Key: '%s'\t Value: '%s'\t Type: %s\n", string(key), string(value), dataType)
 return nil 
 }, "person") 

结果:

Key: 'name' Value: '{
 "first": "Leonid",
 "last": "Bugaev",
 "fullName": "Leonid Bugaev"
 }' Type: object
Key: 'github' Value: '{
 "handle": "buger",
 "followers": 109
 }' Type: object
Key: 'avatars' Value: '[
 {"index":100},
 { "url": "https://avatars1.githubusercontent.com/u/14009?v=3&s=460", "type": "thumbnail" }, 
 { "url1": "https://avatars2.githubusercontent.com/u/14009?v=3&s=460", "type": "thumbnail" } 
 ]' Type: array

• 若需要遍历一个数组:

_, err = jsonparser.ArrayEach(data, func(value []byte, dataType jsonparser.ValueType, offset int, e error) {
 fmt.Printf("each, Value: '%s'\t Type: %s\n", string(value), dataType)
 }, "person", "avatars") 

结果

each, Value: '{"index":100}' Type: object
each, Value: '{ "url": "https://avatars1.githubusercontent.com/u/14009?v=3&s=460", "type": "thumbnail" }' Type: object
each, Value: '{ "url1": "https://avatars2.githubusercontent.com/u/14009?v=3&s=460", "type": "thumbnail" }' Type: object