src/crawler/crawler2.py · codervibe/pythonBasics

代码拉取完成,页面将自动刷新

扫描微信二维码支付

取消

支付完成

richgiteeai

Watch

不关注关注所有动态仅关注版本发行动态关注但不提醒动态

1 Star 0 Fork 0

codervibe/pythonBasics

代码 Issues 0 Pull Requests 0 Wiki 统计流水线

服务

加入 Gitee

与超过 1400万开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)

免费加入

已有帐号? 立即登录

文件

master

分支 (1)

管理

master

该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。

项目仓库所选许可证以仓库主分支所使用许可证为准

克隆/下载

HTTPS SSH SVN SVN+SSH 下载ZIP

提示

下载代码请复制以下命令到终端执行

为确保你提交的代码身份被 Gitee 正确识别,请执行以下命令完成配置

git config --global user.name userName 
git config --global user.email userEmail

初次使用 SSH 协议进行代码克隆、推送等操作时,需按下述提示完成 SSH 配置

1 生成 RSA 密钥

2 获取 RSA 公钥内容,并配置到 SSH公钥中

在 Gitee 上使用 SVN,请访问使用指南

使用 HTTPS 协议时,命令行会出现如下账号密码验证步骤。基于安全考虑,Gitee 建议配置并使用私人令牌替代登录密码进行克隆、推送等操作

Username for 'https://gitee.com': userName

Password for 'https://userName@gitee.com': # 私人令牌

分支 1

标签 0

pythonBasics

src

crawler

crawler2.py

crawler2.py 1.50 KB

import json
import requests

if __name__ == '__main__':
 # 注释掉的代码示例,用于获取七猫免费小说女频热榜数据
 # url = "https://www.qimao.com/api/rank/book-list?is_girl=1&rank_type=1&date_type=1&date=202406&page=1"
 # res = requests.get(url)
 # data = json.loads(res.明文)
 # # data 保存成json 格式的文件
 # with open('七猫免费小说热榜 女频.json', 'w', encoding='utf-8') as f:
 # json.dump(data, f, ensure_ascii=False, indent=4)

# 使用东财API获取股市数据
 url = "https://80.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112406361842533949766_1721734704644&pn=1&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&dect=1&wbp2u=|0|0|0|web&fid=f3&fs=i:1.000001,i:0.399001,i:0.399005,i:0.399006,i:1.000300,i:100.HSI,i:100.HSCEI,i:124.HSCCI,i:100.TWII,i:100.N225,i:100.KOSPI200,i:100.KS11,i:100.STI,i:100.SENSEX,i:100.KLSE,i:100.SET,i:100.PSI,i:100.KSE100,i:100.VNINDEX,i:100.JKSE,i:100.CSEALL&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f26,f22,f33,f11,f62,f128,f136,f115,f152,f124,f107&_=1721734704653"
 res = requests.get(url)
 data = json.loads(res.text)
 print(data)
 # 遍历数据并打印,此处应有更具体的逻辑处理数据
 for item in data:
 print(item[data])
 # 数据保存为JSON文件的代码被注释掉
 # with open('七猫免费小说热榜 女频.json', 'w', encoding='utf-8') as f:
 # json.dump(data, f, ensure_ascii=False, indent=4)

一键复制编辑原始数据按行查看历史

codervibe 提交于 2025年09月29日 13:09 +08:00 . 调整目录结构

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

import json
import requests

if __name__ == '__main__':
 # 注释掉的代码示例,用于获取七猫免费小说女频热榜数据
 # url = "https://www.qimao.com/api/rank/book-list?is_girl=1&rank_type=1&date_type=1&date=202406&page=1"
 # res = requests.get(url)
 # data = json.loads(res.明文)
 # # data 保存成json 格式的文件
 # with open('七猫免费小说热榜 女频.json', 'w', encoding='utf-8') as f:
 # json.dump(data, f, ensure_ascii=False, indent=4)

 # 使用东财API获取股市数据
 url = "https://80.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112406361842533949766_1721734704644&pn=1&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&dect=1&wbp2u=|0|0|0|web&fid=f3&fs=i:1.000001,i:0.399001,i:0.399005,i:0.399006,i:1.000300,i:100.HSI,i:100.HSCEI,i:124.HSCCI,i:100.TWII,i:100.N225,i:100.KOSPI200,i:100.KS11,i:100.STI,i:100.SENSEX,i:100.KLSE,i:100.SET,i:100.PSI,i:100.KSE100,i:100.VNINDEX,i:100.JKSE,i:100.CSEALL&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f26,f22,f33,f11,f62,f128,f136,f115,f152,f124,f107&_=1721734704653"
 res = requests.get(url)
 data = json.loads(res.text)
 print(data)
 # 遍历数据并打印,此处应有更具体的逻辑处理数据
 for item in data:
 print(item[data])
 # 数据保存为JSON文件的代码被注释掉
 # with open('七猫免费小说热榜 女频.json', 'w', encoding='utf-8') as f:
 # json.dump(data, f, ensure_ascii=False, indent=4)