"Where massive data turns into cosmic dust." - 当庞然巨物化作漫天星辰。
FileDust 是一款为极客与去中心化信仰者打造的无感云端存储调度引擎。
它的核心哲学是:将你的巨型文件(如视频、模型集)化整为零,精准切割为不超过 100KB 的微小碎片(Dust),经过军工级本地 AES-256GCM 加密颠覆后,利用并发限流技术抛洒入 Arweave/Irys 去中心化深网(从而极其优雅地利用 L2 免费微型数据阈值的底层红利)。
此时,你在本地只需以极低容量保留一张几千字节的「星图文件」(.dust),便完成了一场华丽的本地物理空间释放。当需要重构数据时,凭你的唯一密码指令,所有碎片便会从漫天星云中流式汇聚、严格校验、瞬时解密,最终复刻重装出原本的庞然大物!
- ✂️ 纳米级精密切割 (Nano-Chunking)
默认应用
90KB的深思熟虑防超发安全阀限,不浪费一丝冗余,将任何大文件轻柔切分降维。 - 🕰️ 时空版本穿梭 (CDC Multi-Version Sync)
基于纯 JavaScript 实现的超快 Content-Defined Chunking 算法!完美支持跨越多个版本进行「增量数据去重」(Deduplication)。对千兆大文件的局部修改,仅需极短时间上传寥寥变动碎片即可完成全新云端镜像备份。结合其专属的
.sync.dust记录表,支持任意回溯重塑旧有时空历史纪元版本! - 🛡️ 军工级端到端隐身 (E2E AES-256-GCM) 上传入链的,皆是毫无规律的数据噪波,连上帝也无法在公有链上拼凑或猜透半分。由本地生成高强度的密码 (Password) 与长达 32 bytes 的随机盐 (Salt) 结合衍生出 128 bytes 密钥,让你能够重组宇宙。
- 🌊 黑洞级内存防波堤 (Streaming Reconstruct)
独有的极简「下载一个块 -> 瞬时解密 -> 原子追加 -> 释放」的流式管道设计。哪怕重组 10GB 史诗视频,Node.js 依然安诺如山,内存增压不超过区区
2MB。 - 🚦 反封锁防伪装引擎 (Ratelimit & Jittering)
内建
p-limit并发软锁芯,自带底层重试异常背压与随机休眠抖动(Jitter),温柔而克制地与底层免费节点(如 Irys/Bundlr)交互,避免触发防 DDoS 洗礼墙导致 IP 禁杀。 - 📺 星际流媒体播放 (Dust Browser) 内置 Express 本地服务器代理前端渲染,真正实现从去中心化链上「边下边看」的流媒体多开和拖拽缓存体验。图片秒看,视频畅连,重构无感体验提升至云盘级水准!
准备进入零维空间,请确保你拥有 Node.js >= 18 运行时:
git clone https://github.com/YourUsername/FileDust.git
cd FileDust
npm install(💡 引擎初次觉醒时,会贴心在同级目录下生成 wallet.json,供零感挂载去中心化协议使用,无繁琐跨界配置)
在你的代码中只需两段咒文,便能驱使星海。
import { uploadToDust } from "./FileDustUploader.js"; async function makeItDust() { // 祭出法器: 本地文件路径、你的专属密码字典、期望切割尺寸阀门(默认安全值为90KB) const manifestPath = await uploadToDust("./videos/secret_movie.mp4", "SuperStrongPassword123!"); console.log(`生成星图索引卡: ${manifestPath}`); // 👋 此时,你可以放心把体积惊人的 secret_movie.mp4 从地球硬盘上永远抹除了 } makeItDust();
🚨 【极其关键的生死存亡提示】 🚨 仔细看你的当前目录,是不是刚生成了一个叫
salt.json的文件? 没错,由于极度严苛的加密标准,你的最终加密密钥是由你输入的密码 (Password) + 这份 32 字节的随机盐 (Salt) 混合衍生而成的。 这意味着随机盐 (Salt) 并没有暴露在公有链的加密文件头部! 请你务必将「你的密码」、「.dust星图文件」以及「salt.json」这三件绝世法宝妥善保管! 丢了salt.json,即便上帝拿着你的原密码,也永远无法在宇宙中拼凑出你的数据了。
import { downloadFromDust } from "./FileDustMerger.js"; async function reconstruct() { // 喂给它那轻如鸿毛的 .dust 坐标,星河自会倒流重组 await downloadFromDust("./videos/secret_movie.mp4.dust", "SuperStrongPassword123!"); // 🎉 你的 secret_movie.mp4 毫发无伤地降临在当前目录 } reconstruct();
如果你有需要频繁修改的大型文档、游戏存档、数据库或 Obsidian 笔记,使用专用的 FileDustSync 能够释放极致的"秒传"能力和跨时空回滚机制:
import { syncFileToDust, restoreFileSyncDust } from "./FileDustSync.js"; async function timeTravel() { // 创建 v1 初始时空快照 const manifestPath = await syncFileToDust("./my_work.docx", "YourPassword"); // (数天后) 假设你仅仅在文档末尾增加了两行字,再次备份! // 💥 极为狂暴的 CDC 引擎启动!系统瞬间查明历史,前面部分直接零成本复用旧有网络碎片! // 仅耗时几秒且不浪费流量即创建出全新的 v2 纪元快照! await syncFileToDust("./my_work.docx", "YourPassword"); // 天哪,改得一团糟!立刻启动时光机,从星图拉取最初始的 v1 版本到硬盘: await restoreFileSyncDust(manifestPath, 1, "YourPassword"); } timeTravel();
如果你的星尘是图片、视频、音频甚至是文本/Markdown文件,你可以免去完整下载,直接启动本地去中心化浏览器网关:
# 启动本地代理 node DustBrowser.js <你的重组密码>
👉 运行后访问: http://localhost:3000
页面将挂载并渲染当前目录下所有的 *.dust 星图,点击即可实现多路并行的「边下、边解密、边预览」效果!且内置了便捷的一键上传与自动切片工具。
🌟 效果预览:
本项目采用特殊的 PolyForm Noncommercial License 1.0.0 许可证严苛护航。
- ✅ 无条件允许:任何个人极客使用、代码拆解学习、技术修仙、基于非商业利益目的的自我服务构建。
- ❌ 绝对的禁止:任何公司主体、初创团队或个人,将此引擎的整体机制或核心切割逻辑嵌入、伪装为 SaaS 网盘服务、增值模块来间接/直接套版牟取任何形式的商业对价。
- 链上不可篡改性:基于 Arweave 协议,所有经过碎片抛洒入链的数据都是永久的、不可撤销的、不可删除的。请深思熟虑你要上传的任何内容,因为一旦上传,即便是神也无法从网络中将其抹去。
- 严禁滥用与非法用途:尽管 FileDust 最大化利用了 L2 网络(如 Turbo/Irys)的微型数据免费红利,从而让你拥有了近乎"无限空间"的安全存储。但是,本工具仅为极客实验、数据主权理念学习与个人非侵权/合法资产备份而开发。
- 法律责任:严禁使用 FileDust 处理、传播任何违反您所在国家/地区法律的数据(包括但不限于骇客材料、非法交易资料、侵权盗版等)。作者与贡献者对使用本工具所产生的任何数据及法律后果概不负责,且不提供任何形式的商业保障或客服义务。
保持纯粹,只为热爱极客文化的开拓者而留存。