分享
golang学习笔记之-采集gbk乱码的问题?
Maggie_up · · 2368 次点击 · · 开始浏览这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。
package main
import (
"bufio"
"fmt"
"golang.org/x/net/html/charset"
"golang.org/x/text/transform"
"io"
"io/ioutil"
"net/http"
)
func DetermineEncoding(r io.Reader) []byte {
OldReader := bufio.NewReader(r)
bytes, err := OldReader.Peek(1024)
if err != nil {
panic(err)
}
e, _, _ := charset.DetermineEncoding(bytes, "")
reader := transform.NewReader(OldReader, e.NewDecoder())
all, err := ioutil.ReadAll(reader)
if err != nil {
panic(err)
}
return all
}
func main() {
resp, err := http.Get(`http://www.chinanews.com`)
if err != nil {
panic(err)
}
defer resp.Body.Close()
fmt.Printf(`%s`, DetermineEncoding(resp.Body))
}
有疑问加站长微信联系(非本文作者)
入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889
关注微信2368 次点击
被以下专栏收入,发现更多相似内容
上一篇:grpc 基础知识 - Go
添加一条新回复
(您需要 后才能回复 没有账号 ?)
- 请尽量让自己的回复能够对别人有帮助
- 支持 Markdown 格式, **粗体**、~~删除线~~、
`单行代码` - 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
- 图片支持拖拽、截图粘贴等方式上传
收入到我管理的专栏 新建专栏
package main
import (
"bufio"
"fmt"
"golang.org/x/net/html/charset"
"golang.org/x/text/transform"
"io"
"io/ioutil"
"net/http"
)
func DetermineEncoding(r io.Reader) []byte {
OldReader := bufio.NewReader(r)
bytes, err := OldReader.Peek(1024)
if err != nil {
panic(err)
}
e, _, _ := charset.DetermineEncoding(bytes, "")
reader := transform.NewReader(OldReader, e.NewDecoder())
all, err := ioutil.ReadAll(reader)
if err != nil {
panic(err)
}
return all
}
func main() {
resp, err := http.Get(`http://www.chinanews.com`)
if err != nil {
panic(err)
}
defer resp.Body.Close()
fmt.Printf(`%s`, DetermineEncoding(resp.Body))
}