dynamo: https://github.com/ai-dynamo/dynamo

代码拉取完成,页面将自动刷新

扫描微信二维码支付

取消

支付完成

richgiteeai

Watch

不关注关注所有动态仅关注版本发行动态关注但不提醒动态

1 Star 0 Fork 0

GitHub Zoo/dynamo

代码 Issues 0 Pull Requests 0 Wiki 统计流水线

服务

加入 Gitee

与超过 1400万开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)

免费加入

已有帐号? 立即登录

文件

新建文件新建 Diagram 文件

main

分支 (1551)

标签 (42)

管理

main

hzhou/trtllm-config-modifier

pull-request/7884

pull-request/7799

qiwa/dis-1468-mm-cache-turn-on-support-for-vllm-agg

nnshah1/DIS-1643-pr4-e2e-tests-v2

pull-request/7817

hzhou/dyn-2544

pull-request/7868

feat/DYN-2204-vllm-upstream-base-pattern-refresh

pull-request/7648

pull-request/7828

pull-request/7882

schwinns/gms-lock-mode-stack

schwinns/gms-nightly-fixes-20260402

pull-request/7875

schwinns/gms-refactor-stack

jpohl/dyn-2495-fastvideo-image-ci

pull-request/7862

pull-request/7871

v1.1.0-dev.1

v1.0.1

v0.0.0.test1-rc0

v0.0.0test1-rc2

v0.0.0test1-rc1

v0.0.0test1-rc0

v1.0.0

v0.0.0-test-rc11

v0.9.1

v0.0.0-test-rc0

v0.0.0-test1-rc0

v0.9.1-rc1

v0.9.1-rc0

v0.9.0

v0.8.1

v0.8.1-rc0

test-0.0.0-0

v0.8.0

v0.0.0-test-rc7

v0.0.0-test-rc6

克隆/下载

HTTPS SSH SVN SVN+SSH 下载ZIP

提示

下载代码请复制以下命令到终端执行

为确保你提交的代码身份被 Gitee 正确识别,请执行以下命令完成配置

git config --global user.name userName 
git config --global user.email userEmail

初次使用 SSH 协议进行代码克隆、推送等操作时,需按下述提示完成 SSH 配置

1 生成 RSA 密钥

2 获取 RSA 公钥内容,并配置到 SSH公钥中

在 Gitee 上使用 SVN,请访问使用指南

使用 HTTPS 协议时,命令行会出现如下账号密码验证步骤。基于安全考虑,Gitee 建议配置并使用私人令牌替代登录密码进行克隆、推送等操作

Username for 'https://gitee.com': userName

Password for 'https://userName@gitee.com': # 私人令牌

新建文件新建 Diagram 文件

分支 1551

标签 42

贡献代码

同步代码

创建 Pull Request

了解更多

对比差异通过 Pull Request 同步

同步更新到分支

通过 Pull Request 同步

将会在向当前分支创建一个 Pull
Request,合入后将完成同步

Biswa Panda feat(frontend): three-layer frontend perf ... 273252e

4197 次提交

File empty ...

burstgpt_loadgen

frontend

incluster

llm

multimodal

nat_trace

prefix_data_generator

router

sin_load_generator

README.md

pyproject.toml

README

# Benchmarks

This directory contains benchmarking tools and scripts for Dynamo deployments. Benchmarking uses [AIPerf](https://github.com/ai-dynamo/aiperf) directly — a comprehensive tool for measuring generative AI inference performance.

## Quick Start

### Benchmark a Dynamo Deployment
First, deploy your DynamoGraphDeployment using the [deployment documentation](../docs/kubernetes/), then:

```bash
# Port-forward your deployment to http://localhost:8000
kubectl port-forward -n <namespace> svc/<frontend-service-name> 8000:8000 > /dev/null 2>&1 &

# Run a single benchmark
aiperf profile \
 --model <your-model> \
 --url http://localhost:8000 \
 --endpoint-type chat \
 --streaming \
 --concurrency 10 \
 --request-count 100

# Run a concurrency sweep for Pareto analysis
for c in 1 2 5 10 50 100; do
 aiperf profile \
 --model <your-model> \
 --url http://localhost:8000 \
 --endpoint-type chat \
 --streaming \
 --concurrency $c \
 --request-count $(( c * 3 > 10 ? c * 3 : 10 )) \
 --artifact-dir "artifacts/my-benchmark/c$c"
done

# Generate comparison plots
aiperf plot artifacts/my-benchmark
```

## Directory Contents

- **`incluster/`** — Kubernetes Job manifest for running benchmarks inside the cluster
- **`router/`** — KV Router benchmarking scripts (prefix ratio, trace replay, agent, priority queue)
- **`prefix_data_generator/`** — Tools for analyzing and synthesizing prefix-structured data

## Comprehensive Guide

For detailed documentation including server-side benchmarking, Pareto analysis, and advanced AIPerf features, see the [complete benchmarking guide](../docs/benchmarks/benchmarking.md).