【Go语言实战】字符编码GBK、UTF8转换

近期计划开发一个小说阅读APP,本意是学习golang开发,以及爬虫设计。

一般规范些的站点,会采用utf-8编码开发运行在浏览器上。然而,在我抓取的某些网站,却是采用的GBK编码,因此,在解析dom后,获取中文内容的时候,总是会出现一些编码问题,导致我并不能确认,解析到的内容,是不是就是我想要的,我期望的。

为了解决这个问题,我面向百度,面向goole编程,最终找到了一个可靠的解决办法,即goole的text库(golang.org/x/text),并把对应的方法做了简单的封装。

// transform GBK bytes to UTF-8 bytes
func GbkToUtf8(str []byte) (b []byte, err error) {
 r := transform.NewReader(bytes.NewReader(str), simplifiedchinese.GBK.NewDecoder())
 b, err = ioutil.ReadAll(r)
 if err != nil {
 return
 }
 return
}
// transform UTF-8 bytes to GBK bytes
func Utf8ToGbk(str []byte) (b []byte, err error) {
 r := transform.NewReader(bytes.NewReader(str), simplifiedchinese.GBK.NewEncoder())
 b, err = ioutil.ReadAll(r)
 if err != nil {
 return
 }
 return
}

为了更方便的得到转换后的字符串,继续对以上两个方法封装。

// transform GBK string to UTF-8 string and replace it, if transformed success, returned nil error, or died by error message
func StrToUtf8(str *string) error {
 b, err := GbkToUtf8([]byte(*str))
 if err != nil {
 return err
 }
 *str = string(b)
 return nil
}
// transform UTF-8 string to GBK string and replace it, if transformed success, returned nil error, or died by error message
func StrToGBK(str *string) error {
 b, err := Utf8ToGbk([]byte(*str))
 if err != nil {
 return err
 }
 *str = string(b)
 return nil
}

有疑问加站长微信联系(非本文作者)

• 请尽量让自己的回复能够对别人有帮助
• 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
• 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
• 图片支持拖拽、截图粘贴等方式上传