丢掉幻想,开始斗争 一年又一年,竟然已经到了 2025 年底了,今年自己的状态感觉整体是很不错的,生活工作教会了我不少事情,就好像打怪升级一样,感受到自己的心态不断地变稳,虽然仍然有很多需要努力变好的地方,但自己的人生状态确实在不断变好,能够慢慢处理好自己的生活,自己的确在逐步变成一个更好的人了吧! 年度目标复盘感激自己每年都有定年度目标的习惯,今年猛的回头一看去年立下的 flag,竟然大部分

An Empirical Evaluation of Columnar Storage Formats 主要对比介绍了 Parquet 和 ORC 两种列存存储格式,通过一个基于真实世界数据集的基准测试,评估了它们的性能和空间效率。 列存格式的演进 早期大数据生态系统中的文件格式:2010 年代初期,大数据生态系统催生了多种开源文件格式。Apache Hadoop 最先引入了两种面向行的格式:Se

今年决定看完一本书就得整理一下读书笔记,博客中只整理最精华的部分。 控糖革命 最近在健身,减肥,朋友推荐了这本书,马上就把这本书读完了 血糖水平变化越小,健康状况就会越好(使得血糖曲线平稳化) 最优的吃饭顺序:吃前喝点醋,先吃纤维(蔬菜),再吃蛋白质、脂肪,最后吃淀粉和糖类,吃完锻炼十分钟 葡萄糖的三类储存位置:糖原(依赖肝脏,存储大概 100g),肌肉(存储 400g),脂肪(果糖只能在脂肪

今年的一个计划是用 NotebookLLM 来读完 cmu15-721 spring2024 中的标星论文,新工具带来的生产力的提高真是太强了...... 博客里面就不放太多细碎的笔记内容了,这里就放一个最精华的 NotebookLLM 的总结和一些要点了...... Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing

24年快要过完了,得吃吃思考的苦,想想今年又是怎么虚度的,今年是正式工作的第二年,心态相比去年刚毕业时的紧张的感觉,要缓解了很多。 工作上的感受在工作上,自己独立承担了一些事情,能够端到端做一些事情了,这是好事。当前参与的项目从最开始的草台班子到现在逐渐变得比较成熟,这个过程感觉自己学到了很多,从身边很多很棒的同事身上能学到了不少,这里指的不仅仅是在技术能力上的提升,还有更多学到了做事的方式以及视

今年终于再次开始拾起来看书的念头,看的比较杂,这里整理记录下今年阅读的书单。有一些书是第二次读,发现和第一次读起来的感受完全不一样了,人的人生经历会让你在看待同一件事物的时候会有不同的感受。 现在自己看书的方法已经发生了一些变化,并不贪图要阅读的量,而是争取让读到的每一本书,自己至少能够从中学习并且在生活中应用一个点,那么算是一次成功的阅读了。 我会首先回忆自己还能记得的印象最深的点,然后再去翻阅

竟然又到了年底,今年是从学校毕业到社会上的第一年,自己的社会身份发生了从学生到打工人的转变,尽管自己对于职场和独立生活已经有一些准备,但还是有些事在预期之外。

本文记录下采用树莓派来搭建软路由实现科学上网的过程,中间没有想象的那么顺利...折腾了大概两个小时才弄完,这里记录下整个流程和一些坑。

DuckDBWhat is DuckDBDuckDB 是一个 In-Process 的 OLAP 数据库,可以理解为 AP 版本的 SQLite,采用 MIT 协议开源,是荷兰 CWI 数据库组的一个项目,学术气息比较浓厚,项目的组织很有教科书的感觉,架构很清晰,所以非常适合阅读学习。 Why DuckDB come outCWI 数据库组非常厉害,像 MonetDB、Vectorwise 都是该

HistorySpark 简介来自伯克利的高性能和更具表现力的 Hadoop 替代品。 计算/存储分离 支持对同一数据集进行多次迭代算法。 使用 Scala 编写,可以在 JVM 上运行。 最初只支持 low-level 的 RDD API,后来添加了 DataFrame API 以实现更高级别的抽象。 SHARK (2013)Facebook的Hive中间件的修改版本,将SQL转换

基础概念简单介绍pipeline 是一种执行引擎模型,是通过将复杂的计算链路拆分成多个小部分,通过各种手段来执行 pipeline 中的任务完成高效率的计算。 在 Morsel, Clickhouse, Databend, Datafusion, DuckDB 中对于 pipeline 都有不同程度的实现 pipeline 本质上就是将计算任务抽象成一个 DAG,然后将每个节点抽象为一个 TA

Historygoogle 内部有很多 Data Systems,每当 google 发布了他们系统的论文之后总会出现外部的一些开源版本,因为大家都认为 google 很成功, NoSQL: MapReduce, 2004 -> Hadoop, Spark BigTable, 2005 -> HBase, Accumulo, Hypertable Chubby, 2006 ->

要点总结论文原文: Column Sketches: A Scan Accelerator for Rapid and Robust Predicate Evaluation 发现看论文越来越快了,确实是熟能生巧,今天花了大概两个小时读了一篇+笔记,确实对于一般的论文,自己也不需要深究太多证明和实现的细节,先整体了解一些思路即可,之后有需要再看具体的细节证明 本文的贡献: 本文提出一种新

要点总结本文读完的一些要记住的点 尝试通过垂直分区和 Index-only plans 等技术在行存储中模拟列存储的物理布局不会产生良好的性能。 我们将这种缓慢归因于tuple 的高昂重建成本,以及窄的垂直分区表中的每个 tuple 额外的高额开销。 分解了列存储能够如此有效地处理面向列的数据的原因 late materialization 将性能提高了三倍 compress 平均提供了大约两

要点概括本文链接:Building-An-Elastic-Query-Engine-on-Disaggregated-Storage | NSDI’ 20 这篇文章是 snowflake 在实际数据分析下对于 snowflake 设计的一篇总结分析,并不是整体架构的设计和介绍。 主要介绍了临时存储系统的设计,任务调度,资源弹性和多租户的一些设计和数据分析上的结果和未来的展望,这个时候 snowf

竟然又到了年底了,2022又过去了,今年是非常充实忙碌的一年,总体来说就是秋招+毕业两件大事,想想去年的这个时候是2021年底,刚刚翻看之前的总结又感叹着时间飞逝,自己又老了一岁...今年的年度总结多了一个复盘环节:流水账,复盘,good stuff and bad stuff。 流水账今年年初回家很早,元旦的时候应该就在家里,在家呆了两个月,这两个月里面还是主要在给 databend 实习写代码。回

秋招终于尘埃落定,整个过程经历了很久,在这里记录分享一下下自己的秋招过程。 在23届秋招过程中,幸运地收获了十几家公司的offer,大厂以及创业公司都涉猎了部分 阿里云,数据库内核 字节,数据库内核 百度,数据库内核 快手,基础架构 美团,大数据基础研发 京东,京东云存储 小红书,数据库内核 smartx,分布式存储 akuna,C++开发 metabit,data infra Starrock

[TOC] Join 算法一个好的数据库的设计应该是尽量减少信息的重复和冗余,通常会将不同的数据放在不同的表中,对数据进行拆解分别存储。为了获取完整的分析数据,我们就需要从多表中取数据,将多个表连接成一个表,方便我们进行分析。 Join 一般分为 Inner Join 和 Outer Join,下面用两张图表示他们的区别 Inner Join 表示的是两个表的交集, 上图是 Left Ou

这次鸽了好久了周报和总结,其原因有很多,主要是新学期来了自己又迎来了很多事情,所以这段时间做了很多事情吧,然后发现人生每个阶段的焦虑是一个接着一个...永远不可能做完的 TAT,这里总结反思一下这段时间

2022 的第三个周报就 delay了..., 究其原因还是自己太懒了,梳理一下到今天为止的做的一些工作和学习,过年期间从初一开始就纯玩了好几天,导致 github 的小绿点都没了 TAT,还是想要小绿点,需要每天都坚持学习和努力工作! 工作翻看了一下这段时间的PR,主要还是参与 datavalues 和 functions 的重构中,这几个 PR 都是这段时间完成的PR:重写几个函数:bin

2022 的第二个周报,明年就过年了,主题是焦虑... 工作这周做的工作如下面几个 PR impl getData trait for boolean/string column & improve column 这个 closed 掉的 PR 是开始对重构 datavalues 的一些尝试工作,本来以后就给 bool 和 string 类型加上两个 trait 那么简单,结果后来

开始公开记录下自己的工作和学习过程,决定开始采用双周周报的形式。这个想法来自于团队里的一个大佬 Xuanwo 的想法,在看到他利用开源的方式来记录下自己工作学习历程之后,自己也决定学习模仿一下,代替在 Notion 里的月度记录,这样做有几个好处, 双周的迭代能够更加紧凑,让自己知道短期内做了什么,对工作、学习计划能够有及时的调整 把自己的工作学习成果写出来能够监督自己,相当于立下一个 flag

转眼间又到了年底,总感觉在成年之后每年都过得很快。这是写总结的第二年,我一直认为总结复盘是一种战略,能够在比较长的时间内看清楚自己做的好的地方和不好的地方,同时也能看到自己一点一滴的进步,能够看到自己完成了哪些目标而又错过了哪些事情,从而能够更好的指导自己未来努力的方向、修正自己的缺点。 先来回忆回忆我这一年都干了啥,就当是记流水账了。 流水账年初的时候还是研一,还在准备期末考试,考完结束回家;二

Delta lake 博客总算开张了,感觉每天其实花不了多少时间就能整理一下,以后也可以把之前一些Notion里面的笔记整理出来发成博客,希望能坚持下去 AbstractAmazon S3 等云对象存储是地球上最大、最具成本效益的存储系统之一,使其成为存储大型数据仓库和数据湖的有吸引力的目标。不幸的是,它们作为键值存储的实现使得难以实现 ACID 事务和高性能:metadata 操作(例如 LI

在北京的寒风里,这个世界的2020马上结束了,我的2020也即将结束。

兜兜转转,竟然又开始写博客了...之前的那个博客不太好看,也记录了太多乱七八糟的东西,所以索性直接放弃,重新维护一个新的博客;另外一个原因,之前在博客园也尝试记录过博客(那个竟然有几万的阅读量...),但是最终都没有坚持下来,而且博客园感觉是第三方平台,就没有太自由的感觉,所以重新,整一波博客。 为什么要写博客呢?写博客主要是给自己记录笔记,之前想着每次写博客都觉得比较烦,因为得把一个事情的来龙去脉全部都