一个特别奇怪的网址,用 chrome 就能直接获取到数据,用 curl 和 golang/ Python 就拿不到

1

关键词:浏览器指纹

2

限定 UA 了吧

3

@Need4more 他就一个 get 方法,我从网络监控里没有看到任何特殊 header , 浏览器指纹也得通过什么参数给后端穿过去啊


@nkidgm header 没用,可以自己尝试一下

更新能解释的,个人请喝瑞幸 10 元

4

还有一种可能,是我们公司网络管制吗???

5

打开网站 直接 f12 找到请求的链接 右键选择 copy 然后找到 copy as curl

粘贴到命令行里看看呢?

6

应该是 TLS 指纹吧,你可以用不同客户端访问下这个网站看看有什么不同: https://tls.peet.ws/

7

@JoeJoeJoe 我不是小白,干了快 10 年了,curl 有时候可以有时候不行

我非常怀疑是公司网络投毒
curl 'https://82.push2.eastmoney.com/api/qt/clist/get?pn=31&pz=100&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&fid=f12&fs=m%3A0+t%3A6%2Cm%3A0+t%3A80&fields=f1%2Cf2%2Cf3%2Cf4%2Cf5%2Cf6%2Cf7%2Cf8%2Cf9%2Cf10%2Cf12%2Cf13%2Cf14%2Cf15%2Cf16%2Cf17%2Cf18%2Cf20%2Cf21%2Cf23%2Cf24%2Cf25%2Cf22%2Cf11%2Cf62%2Cf128%2Cf136%2Cf115%2Cf152'

8

@petelin 哈哈哈 我刚学会 给你分享分享

9

好像可以呀

10

@JEME 那只能是网络公司投毒了,你多调用几次 也没事吗

11

@petelin #10 现在请求你给的 api 不行了,难道 ip 被封了吗。。。

12

@JEME 你再试试用 chrome 打开,多刷几次,是不是稳定能打开。。。

13

瑞幸 10 元恐怕不够吧,库迪倒是随意

14

@petelin #12 可能我请求太频繁了?隔了一会儿又可以了

15

@slowman 天天 9.9 ,随便请

16

chrome 复制 curl 可以请求到,刚去掉一个 header 测试,然后就被 ban 了。

17

有风控。。

18

回家用自己网试了,curl postman 没问题了,,公司网有毒,over

19

和网没有关系,chrome 多刷新几次就被 ban 了,大概率是有 IP 限制

20

你把 header 加上试试

curl 'https://82.push2.eastmoney.com/api/qt/clist/get?pn=31&pz=100&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&fid=f12&fs=m%3A0+t%3A6%2Cm%3A0+t%3A80&fields=f1%2Cf2%2Cf3%2Cf4%2Cf5%2Cf6%2Cf7%2Cf8%2Cf9%2Cf10%2Cf12%2Cf13%2Cf14%2Cf15%2Cf16%2Cf17%2Cf18%2Cf20%2Cf21%2Cf23%2Cf24%2Cf25%2Cf22%2Cf11%2Cf62%2Cf128%2Cf136%2Cf115%2Cf152' \
-H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7' \
-H 'Accept-Language: en,zh-CN;q=0.9,zh;q=0.8' \
-H 'Cache-Control: max-age=0' \
-H 'Connection: keep-alive' \
-H 'Sec-Fetch-Dest: document' \
-H 'Sec-Fetch-Mode: navigate' \
-H 'Sec-Fetch-Site: cross-site' \
-H 'Sec-Fetch-User: ?1' \
-H 'Upgrade-Insecure-Requests: 1' \
-H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0.0.0 Safari/537.36' \
-H 'sec-ch-ua: "Google Chrome";v="141", "Not?A_Brand";v="8", "Chromium";v="141"' \
-H 'sec-ch-ua-mobile: ?0' \
-H 'sec-ch-ua-platform: "macOS"'

21

blob:https://imgur.com/2a199196-89dc-461c-a629-34474868f0d7
没问题啊。直接 f12 右键复制 curl 命令 就能行。

22

图片没发出来 https://imgur.com/a/SemBT0Q

23

你直接浏览器狂按 F5 就刷不出来了,IP 限流