开源 企业版 高校版 私有云 模力方舟 AI 队友
代码拉取完成,页面将自动刷新
捐赠
捐赠前请先登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
1 Star 8 Fork 3

dwing/sharecode

加入 Gitee
与超过 1400万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
已有帐号? 立即登录
文件
main
分支 (1)
main
main
分支 (1)
main
克隆/下载
克隆/下载
提示
下载代码请复制以下命令到终端执行
为确保你提交的代码身份被 Gitee 正确识别,请执行以下命令完成配置
初次使用 SSH 协议进行代码克隆、推送等操作时,需按下述提示完成 SSH 配置
1 生成 RSA 密钥
2 获取 RSA 公钥内容,并配置到 SSH公钥
在 Gitee 上使用 SVN,请访问 使用指南
使用 HTTPS 协议时,命令行会出现如下账号密码验证步骤。基于安全考虑,Gitee 建议 配置并使用私人令牌 替代登录密码进行克隆、推送等操作
Username for 'https://gitee.com': userName
Password for 'https://userName@gitee.com': # 私人令牌
main
分支 (1)
main
sharecode
/
java
/
src
/
LiveDown.java
sharecode
/
java
/
src
/
LiveDown.java
LiveDown.java 5.69 KB
一键复制 编辑 原始数据 按行查看 历史
dwing 提交于 2024年08月23日 22:20 +08:00 . java: fix TestNativeCode* and LiveDown
import java.io.ByteArrayOutputStream;
import java.io.PrintStream;
import java.net.URI;
import java.net.http.HttpClient;
import java.net.http.HttpRequest;
import java.net.http.HttpResponse;
import java.nio.charset.StandardCharsets;
import java.nio.file.Path;
import java.nio.file.StandardOpenOption;
import java.time.Duration;
import java.util.HashSet;
import java.util.concurrent.Executors;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
public class LiveDown {
private static final int SLEEP_MIN = 5_000;
private static final int SLEEP_MAX_COUNT = 6;
private static final ThreadPoolExecutor tpe = (ThreadPoolExecutor)Executors.newFixedThreadPool(5);
private static final HttpClient hc = HttpClient.newBuilder()
.version(HttpClient.Version.HTTP_1_1)
.followRedirects(HttpClient.Redirect.ALWAYS)
.connectTimeout(Duration.ofSeconds(5))
.build();
private static void downloadFile(String url, Path file) {
System.err.format("INFO : BEGIN: %s%n", url);
for (int i = 1, RETRY = 2; ; i++) {
var timeBegin = System.nanoTime();
HttpResponse<Path> resp = null;
String err = "";
try {
resp = hc.send(HttpRequest.newBuilder().uri(URI.create(url)).setHeader("User-Agent", "Mozilla/5.0")
.build(), HttpResponse.BodyHandlers.ofFile(file, StandardOpenOption.CREATE,
StandardOpenOption.TRUNCATE_EXISTING, StandardOpenOption.WRITE));
} catch (Exception e) {
var os = new ByteArrayOutputStream(256);
e.printStackTrace(new PrintStream(os));
err = os.toString();
}
var size = file.toFile().length();
var time = (System.nanoTime() - timeBegin) * 1e-9;
System.err.format("%s(%3d,%6dK,%5dK/s,%4.1fs): %s%n%s",
err.isEmpty() ? "INFO : DONE " : i < RETRY ? "INFO : RETRY" : "ERROR: DONE ",
resp != null ? resp.statusCode() : -1, size >>> 10, (long)(size / time) >>> 10, time,
resp != null ? resp.uri() : url, err);
if (err.isEmpty() || i >= RETRY)
return;
try {
//noinspection BusyWait
Thread.sleep(1000);
} catch (InterruptedException e) {
throw new RuntimeException(e);
}
}
}
private static String downloadStr(String url) {
System.err.format("INFO : BEGIN: %s%n", url);
for (int i = 1, RETRY = 100; ; i++) {
var timeBegin = System.nanoTime();
HttpResponse<byte[]> resp = null;
String err = "";
try {
resp = hc.sendAsync(HttpRequest.newBuilder().uri(URI.create(url)).setHeader("User-Agent", "Mozilla/5.0")
.build(), HttpResponse.BodyHandlers.ofByteArray()).get(5, TimeUnit.SECONDS);
} catch (Exception e) {
var os = new ByteArrayOutputStream(256);
e.printStackTrace(new PrintStream(os));
err = os.toString();
}
var data = resp != null ? resp.body() : null;
var size = data != null ? data.length : 0;
var time = (System.nanoTime() - timeBegin) * 1e-9;
System.err.format("%s(%3d,%6dK,%5dK/s,%4.1fs): %s%n%s",
err.isEmpty() ? "INFO : DONE " : i < RETRY ? "INFO : RETRY" : "ERROR: DONE ",
resp != null ? resp.statusCode() : -1, size >>> 10, (long)(size / time) >>> 10, time,
resp != null ? resp.uri() : url, err);
if (err.isEmpty() || i >= RETRY)
return data != null ? new String(data, StandardCharsets.UTF_8) : "";
try {
//noinspection BusyWait
Thread.sleep(1000);
} catch (InterruptedException e) {
throw new RuntimeException(e);
}
}
}
static final boolean[] fileNameChars = new boolean[128];
static {
for (int i = '0'; i <= '9'; i++)
fileNameChars[i] = true;
for (int i = 'A'; i <= 'Z'; i++)
fileNameChars[i] = true;
for (int i = 'a'; i <= 'z'; i++)
fileNameChars[i] = true;
var allowedChars = "._-+~!@#$()[]{}";
for (int i = 0; i < allowedChars.length(); i++)
fileNameChars[allowedChars.charAt(i)] = true;
}
public static int lastIndexOfFileNameBegin(String s) {
int i = s.length();
while (--i >= 0) {
int c = s.charAt(i);
if (c >= 128 || !fileNameChars[c])
break;
}
return i + 1;
}
public static int countDigits(String s) {
int r = 0;
for (int i = 0, n = s.length(); i < n; i++) {
int c = s.charAt(i);
if (c >= '0' && c <= '9')
r++;
}
return r;
}
public static void main(String[] args) throws Exception {
// http://37.27.111.214:8080/live/20/hls.m3u8
// https://bsex.serv00.net/Smart.php?id=ettvnews
var url = args[0]; // m3u8 url
var urlPath = url.substring(0, url.lastIndexOf('/') + 1);
var outPath = args.length > 1 ? args[1] : ".";
var fileNameSet = new HashSet<String>();
//noinspection InfiniteLoopStatement
for (var idx = new int[1]; ; ) {
try {
downloadStr(url).lines().forEach(line -> {
if (!line.isEmpty() && line.charAt(0) != '#') {
String fileUrl, fileName;
if (line.contains("://")) {
fileUrl = line;
fileName = line.substring(lastIndexOfFileNameBegin(line));
} else {
fileUrl = urlPath + line;
fileName = line;
}
if (!fileName.isEmpty()) {
fileName = fileName.replace('/', '_');
if (fileName.indexOf('.') < 0)
fileName += ".ts";
if (countDigits(fileName) < 6)
fileName = String.format("%6d_%s", ++idx[0], fileName);
if (fileNameSet.add(fileName)) {
var filePath = Path.of(outPath, fileName);
tpe.execute(() -> downloadFile(fileUrl, filePath));
}
}
}
});
} catch (Exception e) {
//noinspection CallToPrintStackTrace
e.printStackTrace();
}
for (int i = 0; i < SLEEP_MAX_COUNT; i++) {
//noinspection BusyWait
Thread.sleep(SLEEP_MIN);
if (tpe.getQueue().isEmpty())
break;
}
System.err.format("INFO : QUEUE: %d => %d/%d => %d%n",
tpe.getQueue().size(), tpe.getActiveCount(), tpe.getCorePoolSize(), tpe.getCompletedTaskCount());
}
}
}
Loading...
举报
举报成功
我们将于2个工作日内通过站内信反馈结果给你!
请认真填写举报原因,尽可能描述详细。
请选择举报类型
取消
发送
误判申诉

此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。

如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。

取消
提交

简介

分享个人编写的各种编程语言的短代码
暂无标签
MIT
使用 MIT 开源许可协议
取消

发行版

暂无发行版

贡献者

全部

近期动态

不能加载更多了
编辑仓库简介
简介内容
主页
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
其他
1
https://gitee.com/dwing/sharecode.git
git@gitee.com:dwing/sharecode.git
dwing
sharecode
sharecode
main
点此查找更多帮助

搜索帮助

评论
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号,请先登录后再操作。
立即登录
没有帐号,去注册

AltStyle によって変換されたページ (->オリジナル) /