Tools/unicode/gencjkcodecs.py · source-code-analysis/python3.8.1

代码拉取完成,页面将自动刷新

扫描微信二维码支付

取消

支付完成

richgiteeai

Watch

不关注关注所有动态仅关注版本发行动态关注但不提醒动态

1 Star 0 Fork 0

source-code-analysis/python3.8.1

代码 Issues 0 Pull Requests 0 Wiki 统计流水线

服务

加入 Gitee

与超过 1400万开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)

免费加入

已有帐号? 立即登录

文件

master

分支 (1)

管理

master

克隆/下载

HTTPS SSH SVN SVN+SSH 下载ZIP

提示

下载代码请复制以下命令到终端执行

为确保你提交的代码身份被 Gitee 正确识别,请执行以下命令完成配置

git config --global user.name userName 
git config --global user.email userEmail

初次使用 SSH 协议进行代码克隆、推送等操作时,需按下述提示完成 SSH 配置

1 生成 RSA 密钥

2 获取 RSA 公钥内容,并配置到 SSH公钥中

在 Gitee 上使用 SVN,请访问使用指南

使用 HTTPS 协议时,命令行会出现如下账号密码验证步骤。基于安全考虑,Gitee 建议配置并使用私人令牌替代登录密码进行克隆、推送等操作

Username for 'https://gitee.com': userName

Password for 'https://userName@gitee.com': # 私人令牌

分支 1

标签 0

python3.8.1

Tools

unicode

gencjkcodecs.py

gencjkcodecs.py 1.97 KB

import os, string

codecs = {
 'cn': ('gb2312', 'gbk', 'gb18030', 'hz'),
 'tw': ('big5', 'cp950'),
 'hk': ('big5hkscs',),
 'jp': ('cp932', 'shift_jis', 'euc_jp', 'euc_jisx0213', 'shift_jisx0213',
 'euc_jis_2004', 'shift_jis_2004'),
 'kr': ('cp949', 'euc_kr', 'johab'),
 'iso2022': ('iso2022_jp', 'iso2022_jp_1', 'iso2022_jp_2',
 'iso2022_jp_2004', 'iso2022_jp_3', 'iso2022_jp_ext',
 'iso2022_kr'),
}

TEMPLATE = string.Template("""\
#
# $encoding.py: Python Unicode Codec for $ENCODING
#
# Written by Hye-Shik Chang <perky@FreeBSD.org>
#

import _codecs_$owner, codecs
import _multibytecodec as mbc

codec = _codecs_$owner.getcodec('$encoding')

class Codec(codecs.Codec):
 encode = codec.encode
 decode = codec.decode

class IncrementalEncoder(mbc.MultibyteIncrementalEncoder,
 codecs.IncrementalEncoder):
 codec = codec

class IncrementalDecoder(mbc.MultibyteIncrementalDecoder,
 codecs.IncrementalDecoder):
 codec = codec

class StreamReader(Codec, mbc.MultibyteStreamReader, codecs.StreamReader):
 codec = codec

class StreamWriter(Codec, mbc.MultibyteStreamWriter, codecs.StreamWriter):
 codec = codec

def getregentry():
 return codecs.CodecInfo(
 name='$encoding',
 encode=Codec().encode,
 decode=Codec().decode,
 incrementalencoder=IncrementalEncoder,
 incrementaldecoder=IncrementalDecoder,
 streamreader=StreamReader,
 streamwriter=StreamWriter,
 )
""")

def gencodecs(prefix):
 for loc, encodings in codecs.items():
 for enc in encodings:
 code = TEMPLATE.substitute(ENCODING=enc.upper(),
 encoding=enc.lower(),
 owner=loc)
 codecpath = os.path.join(prefix, enc + '.py')
 with open(codecpath, 'w') as f:
 f.write(code)

if __name__ == '__main__':
 import sys
 gencodecs(sys.argv[1])

一键复制编辑原始数据按行查看历史

zhangweibo 提交于 2021年11月16日 09:46 +08:00 . git init

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69

import os, string

codecs = {
 'cn': ('gb2312', 'gbk', 'gb18030', 'hz'),
 'tw': ('big5', 'cp950'),
 'hk': ('big5hkscs',),
 'jp': ('cp932', 'shift_jis', 'euc_jp', 'euc_jisx0213', 'shift_jisx0213',
 'euc_jis_2004', 'shift_jis_2004'),
 'kr': ('cp949', 'euc_kr', 'johab'),
 'iso2022': ('iso2022_jp', 'iso2022_jp_1', 'iso2022_jp_2',
 'iso2022_jp_2004', 'iso2022_jp_3', 'iso2022_jp_ext',
 'iso2022_kr'),
}

TEMPLATE = string.Template("""\
#
# $encoding.py: Python Unicode Codec for $ENCODING
#
# Written by Hye-Shik Chang <perky@FreeBSD.org>
#

import _codecs_$owner, codecs
import _multibytecodec as mbc

codec = _codecs_$owner.getcodec('$encoding')

class Codec(codecs.Codec):
 encode = codec.encode
 decode = codec.decode

class IncrementalEncoder(mbc.MultibyteIncrementalEncoder,
 codecs.IncrementalEncoder):
 codec = codec

class IncrementalDecoder(mbc.MultibyteIncrementalDecoder,
 codecs.IncrementalDecoder):
 codec = codec

class StreamReader(Codec, mbc.MultibyteStreamReader, codecs.StreamReader):
 codec = codec

class StreamWriter(Codec, mbc.MultibyteStreamWriter, codecs.StreamWriter):
 codec = codec

def getregentry():
 return codecs.CodecInfo(
 name='$encoding',
 encode=Codec().encode,
 decode=Codec().decode,
 incrementalencoder=IncrementalEncoder,
 incrementaldecoder=IncrementalDecoder,
 streamreader=StreamReader,
 streamwriter=StreamWriter,
 )
""")

def gencodecs(prefix):
 for loc, encodings in codecs.items():
 for enc in encodings:
 code = TEMPLATE.substitute(ENCODING=enc.upper(),
 encoding=enc.lower(),
 owner=loc)
 codecpath = os.path.join(prefix, enc + '.py')
 with open(codecpath, 'w') as f:
 f.write(code)

if __name__ == '__main__':
 import sys
 gencodecs(sys.argv[1])