title: nvidia-smi
date: 2025年12月25日 14:09:18

tags: [Nvidia]

nvidia-smi 是 NVIDIA 驱动提供的命令行工具,能够帮助用户监控和管理 GPU 的状态与行为。本文整理了一些常用的 nvidia-smi 命令,帮助大家快速上手和高效使用。

1. 显示 GPU 基本信息

使用最常见的 nvidia-smi 命令可以展示所有 GPU 的概览信息,包括每块 GPU 的利用率、显存使用情况、风扇速度和温度等。

1

nvidia-smi

阅读更多

Motivation: 为什么要KVCache

对于LLM类模型的一次推理(生成一个token)的过程,我们可以将这个过程分解为下列过程:

用一个流程图来表示,就是:

阅读更多

arch

arch

arch

arch

问题背景

传统的 kubernetes apiserver 请求访问链路为客户端直连 apiserver,为了做 apiserver 高可用,通常我们会给 apiserver 前端再套一层4层或7层代理做多个 apiserver 实例的负载均衡。

在我们的场景下,使用了 istio 的 ingressgateway 作为 client -> apiserver 这条链路中的7层代理。链路变成了 client -> ingressgateway -> apiserver ,gateway 暴露 80 端口供客户端访问, 同时通过 istio virtualService + destinationRule 规则配置 gateway 能通过域名访问到 apiserver 6443 端口,从而实现流量路由。

阅读更多

本文引自这里

该文章刊登在《腾讯云容器团队》博客上,由于网站很久不更新,担心这些好文章之后会被下架,所以做下记录。

前言

本文主要通过深入学习k8s attach/detach controller源码,了解现网案例发现的attach/detach controller bug发生的原委,并给出解决方案。

看完本文你也将学习到:

• attach/detach controller的主要数据结构有哪些,保存什么数据,数据从哪来,到哪去等等;
• k8s attach/detach volume的详细流程,如何判断volume是否需要attach/detach,attach/detach controller和kubelet(volume manager)如何协同工作等等。

阅读更多

Linux 系统的一般的文件系统名称类似于 /dev/sda1 或 /dev/hda1,但是今天在进行系统维护的时候,利用 df -h 命令敲出了 /dev/mapper/VolGroup-lv_root 和 /dev/mapper/Volume-lv_home 两个文件系统名,不解,在网上查找资料后,在此浅谈 /dev/mapper 目录。

阅读更多

krew 离线安装:

官方安装文档:https://krew.sigs.k8s.io/docs/user-guide/setup/install/

阅读更多

Istio 中的 CR 资源 VirtualService 和 Gateway 都存在 hosts 属性,而且 VirtualService.spec.http.route. destination.host 也存在 host 字段,这些字段容易让人混淆,特以此做一解释和区分。

VirtualService

hosts

VirtualService 定义了一系列针对指定服务的流量路由规则。每个路由规则都针对特定协议的匹配规则。如果流量符合这些特征,就会根据规则发送到服务注册表中的目标服务(或者目标服务的子集或版本)。

阅读更多

可以通过 mount --bind 命令来将两个目录连接起来,mount --bind 命令是将前一个目录挂载到后一个目录上,所有对后一个目录的访问其实都是对前一个目录的访问,如下所示:

阅读更多

这里包含Linux 性能资料的工具图。它们展示了:Linux 可观察性工具、 Linux 静态性能分析工具、 Linux 基准测试工具、 Linux 调优工具和Linux sar。

性能观察工具

performance

阅读更多