code/7-3.py · UsingStuding/NBbook

代码拉取完成,页面将自动刷新

扫描微信二维码支付

取消

支付完成

richgiteeai

Watch

不关注关注所有动态仅关注版本发行动态关注但不提醒动态

1 Star 0 Fork 1

UsingStuding/NBbook

forked from zhang_star/NBbook

代码 Issues 0 Pull Requests 0 Wiki 统计流水线

服务

加入 Gitee

与超过 1400万开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)

免费加入

已有帐号? 立即登录

文件

master

分支 (1)

管理

master

该仓库未声明开源许可证文件(LICENSE),使用请关注具体项目描述及其代码上游依赖。

项目仓库所选许可证以仓库主分支所使用许可证为准

克隆/下载

HTTPS SSH SVN SVN+SSH 下载ZIP

提示

下载代码请复制以下命令到终端执行

为确保你提交的代码身份被 Gitee 正确识别,请执行以下命令完成配置

git config --global user.name userName 
git config --global user.email userEmail

初次使用 SSH 协议进行代码克隆、推送等操作时,需按下述提示完成 SSH 配置

1 生成 RSA 密钥

2 获取 RSA 公钥内容,并配置到 SSH公钥中

在 Gitee 上使用 SVN,请访问使用指南

使用 HTTPS 协议时,命令行会出现如下账号密码验证步骤。基于安全考虑,Gitee 建议配置并使用私人令牌替代登录密码进行克隆、推送等操作

Username for 'https://gitee.com': userName

Password for 'https://userName@gitee.com': # 私人令牌

分支 1

标签 0

NBbook

code

7-3.py

7-3.py 1.70 KB

import os
from sklearn.feature_extraction.text import CountVectorizer
import sys
import numpy as np
from sklearn import cross_validation
from sklearn.naive_bayes import GaussianNB

r_token_pattern=r'\b\w+\b\(|\'\w+\''

def load_file(file_path):
 t=""
 with open(file_path) as f:
 for line in f:
 line=line.strip('\n')
 t+=line
 return t

def load_files(path):
 files_list=[]
 for r, d, files in os.walk(path):
 for file in files:
 if file.endswith('.php'):
 file_path=path+file
 #print "Load %s" % file_path
 t=load_file(file_path)
 files_list.append(t)
 return files_list

if __name__ == '__main__':

#bigram_vectorizer = CountVectorizer(ngram_range=(2, 2),token_pattern = r'\b\w+\b', min_df = 1)
 webshell_bigram_vectorizer = CountVectorizer(ngram_range=(1, 1), decode_error="ignore",
 token_pattern = r_token_pattern,min_df=1)
 webshell_files_list=load_files("../data/PHP-WEBSHELL/xiaoma/")
 x1=webshell_bigram_vectorizer.fit_transform(webshell_files_list).toarray()
 y1=[1]*len(x1)
 vocabulary=webshell_bigram_vectorizer.vocabulary_

wp_bigram_vectorizer = CountVectorizer(ngram_range=(1, 1), decode_error="ignore",
 token_pattern = r_token_pattern,min_df=1,vocabulary=vocabulary)
 wp_files_list=load_files("../data/wordpress/")
 x2=wp_bigram_vectorizer.transform(wp_files_list).toarray()
 #print x2
 y2=[0]*len(x2)

x=np.concatenate((x1,x2))
 y=np.concatenate((y1, y2))

clf = GaussianNB()
 print vocabulary
 print cross_validation.cross_val_score(clf, x, y, n_jobs=-1,cv=3)

一键复制编辑原始数据按行查看历史

duoergun0729 提交于 2017年09月14日 11:24 +08:00 . add 7-3

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59

import os
from sklearn.feature_extraction.text import CountVectorizer
import sys
import numpy as np
from sklearn import cross_validation
from sklearn.naive_bayes import GaussianNB


r_token_pattern=r'\b\w+\b\(|\'\w+\''


def load_file(file_path):
 t=""
 with open(file_path) as f:
 for line in f:
 line=line.strip('\n')
 t+=line
 return t


def load_files(path):
 files_list=[]
 for r, d, files in os.walk(path):
 for file in files:
 if file.endswith('.php'):
 file_path=path+file
 #print "Load %s" % file_path
 t=load_file(file_path)
 files_list.append(t)
 return files_list



if __name__ == '__main__':

 #bigram_vectorizer = CountVectorizer(ngram_range=(2, 2),token_pattern = r'\b\w+\b', min_df = 1)
 webshell_bigram_vectorizer = CountVectorizer(ngram_range=(1, 1), decode_error="ignore",
 token_pattern = r_token_pattern,min_df=1)
 webshell_files_list=load_files("../data/PHP-WEBSHELL/xiaoma/")
 x1=webshell_bigram_vectorizer.fit_transform(webshell_files_list).toarray()
 y1=[1]*len(x1)
 vocabulary=webshell_bigram_vectorizer.vocabulary_


 wp_bigram_vectorizer = CountVectorizer(ngram_range=(1, 1), decode_error="ignore",
 token_pattern = r_token_pattern,min_df=1,vocabulary=vocabulary)
 wp_files_list=load_files("../data/wordpress/")
 x2=wp_bigram_vectorizer.transform(wp_files_list).toarray()
 #print x2
 y2=[0]*len(x2)

 x=np.concatenate((x1,x2))
 y=np.concatenate((y1, y2))

 clf = GaussianNB()
 print vocabulary
 print cross_validation.cross_val_score(clf, x, y, n_jobs=-1,cv=3)