分享
  1. 首页
  2. 文章

Golang html encoding解析

vincenshen · · 4616 次点击 · · 开始浏览
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

自动解析html页面的编码格式:

需要依赖 golang.org/x/text 和 golang.org/x/net 这两个外部库

package main
import (
 "net/http"
 "io/ioutil"
 "fmt"
 "golang.org/x/text/transform"
 "io"
 "golang.org/x/text/encoding"
 "bufio"
 "golang.org/x/net/html/charset"
)
// encoding determine for html page , eg: gbk gb2312 GB18030
func determineEncoding(r io.Reader) encoding.Encoding {
 bytes, err := bufio.NewReader(r).Peek(1024)
 if err != nil {
 panic(err)
 }
 e, _, _ := charset.DetermineEncoding(bytes, "")
 return e
}
func main() {
 resp, err := http.Get("http://www.zhenai.com/zhenghun")
 if err != nil {
 panic(err)
 }
 defer resp.Body.Close()
 e := determineEncoding(resp.Body)
 reader := transform.NewReader(resp.Body, e.NewDecoder())
 if resp.StatusCode == http.StatusOK {
 bodyBytes, err := ioutil.ReadAll(reader)
 if err != nil {
 panic(err)
 }
 fmt.Printf("%s\n", bodyBytes)
 }
}

有疑问加站长微信联系(非本文作者)

本文来自:博客园

感谢作者:vincenshen

查看原文:Golang html encoding解析

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

关注微信
4616 次点击
被以下专栏收入,发现更多相似内容
暂无回复
添加一条新回复 (您需要 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传

用户登录

没有账号?注册
(追記) (追記ここまで)

今日阅读排行

    加载中
(追記) (追記ここまで)

一周阅读排行

    加载中

关注我

  • 扫码关注领全套学习资料 关注微信公众号
  • 加入 QQ 群:
    • 192706294(已满)
    • 731990104(已满)
    • 798786647(已满)
    • 729884609(已满)
    • 977810755(已满)
    • 815126783(已满)
    • 812540095(已满)
    • 1006366459(已满)
    • 692541889

  • 关注微信公众号
  • 加入微信群:liuxiaoyan-s,备注入群
  • 也欢迎加入知识星球 Go粉丝们(免费)

给该专栏投稿 写篇新文章

每篇文章有总共有 5 次投稿机会

收入到我管理的专栏 新建专栏