1、为什么感觉xast的测试样本集漏洞规则都比较少?
我们对应用安全测试产品的能力进行了分层,分成了底层的引擎能力和上层的规则能力。xast评价体系一期重点是对底层引擎能力进行评价,因此除了为测试引擎能力而引入的少数几个漏洞规则,一般不把漏洞规则作为评价项。

2、什么是引擎能力?
引擎能力是与规则能力相对应的一层能力,不同类型的应用安全测试产品,引擎能力的定义不同。对于SAST和IAST,引擎能力体现的是SAST/IAST对基础语言层面(如JDK)的支持能力。
简单的理解,引擎能力更偏低层,支持的难度和成本更高,后期用户很难自定义,需要用户重点关注。

3、为什么要引擎能力和规则能力分开评测?
对于应用安全测试产品来说,由于漏洞规则是和使用的框架紧密相关的,较难枚举,且一般产品都支持用户自定义,即使默认不支持,用户也可以以较低成本自定义配置。 引擎能力更偏低层,支持的难度和成本更高,后期用户很难自定义。 如果不分开进行评测,对于一个没有通过测试的case,用户很难分清到底是产品的底层引擎能力不足导致的,还是仅仅因为该规则没有定义导致的。

4、xast评价体系在技术上有什么亮点?与其他Benchmark有什么显著区别?
(1)业界首个评价体系驱动式Benchmark
(2)业界首个面向工具视角Benchmark
(3)评价体系分层设计,区分了引擎能力和规则能力,评价结果更合理
(4)"体检报告"式结果,细粒度可解释
(5)业界Benchmark交叉验证,确保完整性

5、如何确保评价体系的完整性?
一方面评价体系的设计确保了"正向"的完整性;另一方面,我们通过与业界Benchmark进行交叉验证,从"负向"确保了完整性

6、sast的靶场如何运行?
取决于您要测试的sast产品,如果是针对源码进行静态分析的产品,则不需要运行,直接使用sast对靶场进行静态分析即可。

7、如何查看测评结果?
我们正在制定统一的标准测试结果格式,每个被测产品需要把自己的结果输出成标准的测试结果格式,并且我们还将提供自动化脚本将测试结果统一归纳总结输出,这部分内容还在优化中,敬请期待

8、在哪里可以看到评价项?测试结果如何对应到评价项?
评价项可以参考doc目录下的评价体系文件;评价项与测试结果的对应暂时通过对应关系表或代码注释体现,我们将很快提供自动化的结果映射

9、后续是否会新增更多的语言?
欢迎联系我们,一起共建,为业界带来一些美好而微小的变化。

10、如何反馈issue或参与共建?
一般的问题,可以直接在github上提issue;如有case希望贡献,可以在github上提交merge request,社区的maintainers会定期进行响应。当然,您也可以直接进群咨询和交流。 详见参与贡献

11、如何保障评价体系项目的公允性?
考虑到xAST评价体系作为技术标准的特殊性,任何涉及评价项和代码的修改都不允许单个用户的独立操作,都需要提交merge request后,由项目maintainers投票确认后才能合并进项目。