本项目是我2019年7月份的实习工作的**展示与记录**:
-
把倾斜的表格旋转水平;
-
制作5000张表格数据集,需要标注每一个单元格,并实现单元格检测
第一项比较简单,仿射变换、透视变换已经很成熟了,关键是第二项。
考虑到人工标注太费时(1张表格图片大概30个单元格,大概3〜5分钟一张,一共需2500小时),所以尝试利用常规的图像处理,提取出表格线,自动标注。
涉及代码:图像旋转(仿射变换)、表格线提取、转coco格式、可视化、随机保存文件、根据图片文件名匹配对应的标签文件等
table-rotation.py
只需指定输入图像路径,自动计算旋转角度、仿射变换、旋转调整整个图像(不限于表格图像,文字图像也可以)
过程: 1. HoughLines ——> get the rotation angle 2. warpAffine ——> affine(rotation)
extract-table-visual.py
输入一张图片,通过腐蚀膨胀等操作去除表格内容,得到表格线,可视化。本代码的参数设置使可视化效果很好,但实际上左边框可能未闭合(肉眼不可见)
extract-table.py
输入一张图片,可视化表格线。为了使表格闭合、得到交点,故意调整参数,使得横线、竖线都更长。
table-cell-to-coco.py (刚刚修改了多线程处理的bug-12月11日)
https://github.com/doc-analysis/TableBank (因版权限制,请自行申请链接)
该数据集分两块,word文档版和LaTeX文档版,其中word版比较杂,文件命名不规范,文件名有大量的拉丁文、俄文,中文系统下可能会有编码错误。表格识别任务建议使用LaTeX版的数据集。
使用mmdetection目标识别库进行训练时,只需修改config/xxx.py的数据集目录、图片大小、label_name、label种类数(2,表示表格和背景两类)。
检测结果示意图(使用最简单的faster rcnn训练12个epoch,准确率达到99%以上):
C:\Users\wdf\AppData\Local\Temp\WeChat Files4円ccb3b791a8466243ff2abe270da483.png
table-cell-to-coco.py
table bank数据集word版图片,选取以a-c开头的5116张图片(然后从这5116张图片中随机选择1000张做测试集、其余做训练集)。
``` bash
利用opencv库,提取出表格、单元格,然后转成coco格式
#### 分割单元格步骤
# 1. 读取图像;
# 2. 二值化处理;
# 3. 横向、纵向的膨胀、腐蚀操作,得到横线图img_row和竖线图img_col;
# 4. 得到点图,img_row + img_col=img_dot;
# 5. 得到线图,img_row ×ばつ img_col=img_line(线图只是拿来看看的,后续没有用到);
# 6. 根据点图得到闭合矩形单元格(左上角、右下角坐标)
# 7. 人工设计规则,优化这些坐标
# 8. 利用得到的坐标、可视化、保存可视化结果,人工从中选出结果好的样例,做数据集
# 9. 转化为coco格式
```
步骤5示例图:
C:\Users\wdf\AppData\Local\Temp\WeChat Files90円a7964b740e6d6128691fb8702569e.png
步骤8示例图:
C:\Users\wdf\AppData\Local\Temp\WeChat Files709802294175933996円.jpg
``` bash
# 输入一张倾斜的图像,自动仿射变换、旋转调整整个图像
# 步骤:
# 1. HoughLines ——> get the rotation angle
# 2. warpAffine ——> affine(rotation)
```
对应代码:
table-rotation.py
示例图2(拍照,也能精准地调整到水平状态,且不影响表格内容):
利用mmdetection目标识别库,训练任务二标注的table-cell数据集。
需要修改config文件,如config/cascade_mask_rcnn_r101_fpn_1x.py的字段:
数据集路径data_root = '/home/weidafeng/dataset/coco/TableBank/Word/'
类别数目num_classes=2,#两处
图像大小img_scale=(596,842)
修改label name:
-
mmdetection/mmdet/core/evaluation/class_names.py
-
mmdetection/mmdet/datasets/coco.py
-
python setup.py install
我使用config/cascade_mask_rcnn_r101_fpn_1x.py进行测试,修改后的config文件、训练12个eopch达到99%以上的准确率,该配置文件及模型以上传到云盘(链接: https://pan.baidu.com/s/1nfGd7s0AMujJ00pCFAOyrA 提取码: hupu),下载后可进行测试。
测试步骤(详见mmdetection使用说明):
-
使用提供的inference.py文件替换mmdetection/mmdet/apis/inference.py(我主要添加以文本形式保存预测结果的函数,不替换也能看到可视化效果)
-
重新编译 python setup.py install
-
运行测试代码:
``` bash
- bash test.sh ~/test_images/ ../mmdetection/config/mask_xxxx.py ../mmdetection/workdir/latest.pth
```
C:\Users\wdf\AppData\Local\Temp\WeChat Files63円d042e5f3bb277d4dd36de0a40d5e2.png
C:\Users\wdf\AppData\Local\Temp\WeChat Files\a6981c385d7b279e3b07a9465fe1de9.png
测试结果示例图(拍照,结果一样很好):
测试示例图(少部分结果出现漏检、误检):
C:\Users\wdf\AppData\Local\Temp\WeChat Files\cb8eceecf05b2da66c3a48b090aac08.png
C:\Users\wdf\AppData\Local\Temp\WeChat Files\d287a509f1c22c97b3e47eb1969e3cd.png
https://github.com/doc-analysis/TableBank
https://github.com/weidafeng/CCPD2COCO
https://github.com/open-mmlab/mmdetection
https://blog.csdn.net/liyuan02/article/details/6750828
仿射变换和透视变换更直观的叫法可以叫做"平面变换"和"空间变换"或者"二维坐标变换"和"三维坐标变换". 从另一个角度也能说明三维变换和二维变换的意思,仿射变换的方程组有6个未知数,所以要求解就需要找到3组映射点,三个点刚好确定一个平面. 透视变换的方程组有8个未知数,所以要求解就需要找到4组映射点,四个点就刚好确定了一个三维空间.
https://blog.csdn.net/on2way/article/details/46981825
- 频率:对于图像来说就是指图像颜色值的梯度,即灰度级的变化速度
- 幅度:可以简单的理解为是频率的权,即该频率所占的比例
DFT之前的原图像在x y方向上表示空间坐标,DFT是经过x y方向上的傅里叶变换来统计像素在这两个方向上不同频率的分布情况, 所以DFT得到的图像在x y方向上不再表示空间上的长度,而是频率。