本程序用于获取网络情报,针对imap中记录的目的ip地址进行检查,若目的ip与情报中出现的ip匹配,则发出告警信息,并将告警信息写入ES中。
本程序需在Linux环境下运行,基于python 2.7语法规范编写,主要的相关依赖包如下:
json、logging、datetime、time、elasticsearch、ConfigParser、socket、struct、re、requests、bs4、lxml
本程序GitHub地址为:https://github.com/sh9369/personal_respo2
- GitHub主页上使用zip打包下载得personal_respo2-master.zip,解压后得personal_respo2文件夹;或使用git clone 命令直接下载。主要的文件目录形式如下:
personal_respo2:
|——project: 程序主文件目录
|——data: 程序数据存放目录
|——log: 日志文件目录
|——self_blacklist: 本地黑名单文件目录
|——self_defaultlist: 本地默认情报源目录
|——self_whitelist: 本地白名单文件目录
|——get_blacklist: 网络情报源处理文件存放目录
|——MiningServerIPList.py: 具体处理网络情报的文件
|—— ......
|——lpm: lpm算法集成目录
|——blacklist_match.conf: 程序配置文件
|——blacklist_tools.py: 程序公共函数方法文件
|——update_blacklist.py: 更新黑名单文件
|——match_insert.py: 匹配以及插入ES操作文件
|——ontime_run.py: 主运行程序
|——parser_config.py: 配置文件操作函数文件
|——subnet_range.py: IP子网段处理函数文件
|——treat_ip.py: IP操作处理函数文件
|——ip_check_C2.py: 二次检查处理文件
|——check_XForce.py: 获取xforce信息文件
2.运行前,对blacklist_match.conf文件进行配置参数的修改:
2.1 修改[frequency]下的starttime,表示开始检查时间;
2.2 修改[ES_info]下对应的server/dport信息;
2.3 若需启动本地黑名单,请在[self_blacklist_path]下令blacklist_flg=1,path对应于本地黑名单的默认目录;
白名单和默认情报源的启动设置与黑名单一致。
2.4 无网络情况下,请设置[update_flg]下updateFlg=0,以便关闭更新功能。
3.安装完成对应python版本以及依赖包后,进入/project目录下使用以下命令启动程序:
nohup python ontime_run.py &
【再次回车】
使用以下命令查看日志文件:
tail -50f ./data/log/testlog
日志文件会记录程序运行中的相关信息,当看到日志文件不断写入内容后表示程序已经运行。
4.增加网络情报源的方法
4.1 在/get_blacklist目录下新建一个处理文件,假设为XXX.py;
4.2 在XXX.py中编写完整的情报下载/清洗/存储过程,务必保证最终存储的数据格式如下:
`{
"ip1":
{ #具体属性域请参考其他处理文件
"subtype":"mining_pool"
"desc_subtype":"... ... "
... ....
},
"ip2":
{
... ...
},
... ...
}`
4.3 确定网络情报数据源的更新频率,在blacklist_match.conf文件中[parse_blacklist]下的fun1末尾添加",XXX:frequency"
5.获取XForce 信息:
5.1 主要文件: check_XForce.py
5.2 调用方法:
import check_XForce as xf
xf.start(1,lists)
#start(stype,values,checkflg=1)为程序入口;
#params:
stype取值为1或2,1表示检查的对象values是IP列表;2表示values是url列表;
values表示具体的IP或url的列表;
checkflg默认值为1,表示写入文件;若赋值为0,则表示不写入文件;
#return:
final_dic :字典形式返回,查询的内容为key,其他属性值为value
#example for return:
{
"198.54.117.200": {
"company": "NAMECHEAP-NET - Namecheap, Inc., US",
"cats": {
"Botnet Command and Control Server": 43,
"Malware": 43,
"Anonymisation Services": 43
},
"geo": "United States",
"score": 4.3,
"asns": "22612"
},
"197.210.23.55": {
"cats": {
"Dynamic IPs": 71
},
"company": "VCG-AS, NG",
"score": 1,
"geo": "Nigeria",
"asns": "29465"
}
}
5.3 更多参数以及注释请见代码文件check_XForce.py