大神论坛

找回密码
快速注册
查看: 168 | 回复: 0

[其他] 对易盾验证码识别详细流程逆向分析

主题

帖子

0

积分

初入江湖

UID
566
积分
0
精华
威望
0 点
违规
大神币
68 枚
注册时间
2023-09-16 14:58
发表于 2024-01-30 21:55
本帖最后由 heisezhitong 于 2024-01-30 21:55 编辑

[验证码识别]易盾空间推理验证码识别详细流程

本文章所有内容仅供学习和研究使用,不提供具体模型和源码。若有侵权,请联系我立即删除


前言

最近遇到了易盾空间推理验证码,在网上找却没有发现很好的教程,便自己研究了一下。
本文使用Python+pytorch+onnx识别验证码,其他语言参考思路即可。

目录

  • 准备工作

    • 验证码逆向
    • 提示词分析
    • 数据处理
    • 验证码标注
    • 数据集切分
  • 模型训练

    • yolov5识别目标位置和方向
    • AlexNet做颜色分类
  • 图片识别

    • 导出onnx模型
    • 图片预处理和结果处理
    • 2种模型结合
  • 提示词推理

    • 3种提示类型
    • 相同形状物体的处理

准备工作

验证码逆向

关于易盾的逆向网上已经有很多教程了,此处我就不过多赘述了。

接下来就是写脚本来获取一些验证码图片和提示词,数量大概在800张到1k左右,图片全部存放到一个文件夹,建议将图片的命名为图片MD5值,这样可以减少命名冲突和相同图片问题,提示词以每行为分隔符存入一个文件内。

1

2

提示词分析

我们对提示词文件做词频统计(Word Count),并且每个提示词使用jieba分词来拆分。

import jieba
def split_prompt():
# jieba分词
prompt_path = "prompt.txt"
prompt_list = []
with open(prompt_path, "r", encoding="utf-8") as f:
for line in f.readlines():
prompt_list.append(line.strip().replace("请点击", ""))
# 分词,每一行,统计词频
word_dict = {}
for line in prompt_list:
words = jieba.cut(line)
for word in words:
if word in word_dict.keys():
word_dict[word] += 1
else:
word_dict[word] = 1
# 排序
# word_dict = sorted(word_dict.items(), key=lambda x: x[1], reverse=True)
# 删除无用词
delete_list = ["的", "大写", "小写", "一样", "朝向", "数字", "颜色"]
for word in delete_list:
del word_dict[word]
# 排序
word_dict = sorted(word_dict.items(), key=lambda x: x[0], reverse=False)
print(word_dict)

if __name__ == '__main__':
split_prompt()

去除无用词后结果如下

3

由此可知,验证码图片中的所有类别

  • 物体: 66种
    • 大写字母: 26种
    • 小写字母: 26种
    • 数字(0-9): 10种
    • 三维物体: 4种(立方体、圆锥、圆柱、球)
  • 方向: 2种
    • 正向
    • 侧向
  • 颜色: 5种
    • 红色
    • 蓝色
    • 黄色
    • 绿色
    • 灰色

全部一共有66×2×6=660种,这么多在后面给图片打标时会很麻烦,而且由于种类过多,需要更多的数据集。
所以,我们只需要物体和方向2种即可,那么就一共有66×2=132种(其中圆柱、圆锥、球是没有方向的,为了方便计算我还是算了进去)

数据处理

我们使用代码来生成所有的类型:

def combine_prompt():
# 大写字母
upper = "ABCDEFGHIJKLMNOPQRSTUVWXYZ"
# 小写字母
lower = "abcdefghijklmnopqrstuvwxyz"
# 数字
number = "0123456789"
# 三维物体
three = ["圆柱", "圆锥", "球", "立方体"]
# 颜色
color = ["红色", "绿色", "黄色", "蓝色", "灰色"]
# 朝向
orientation = ["侧向", "正向"]

# 生成所有组合
result = []

# upper、lower、number、three为同类型,只能选一个,格式 [upper, lower, number, three]_color_orientation
for a in [upper, lower, number, three]:
for b in a:
for d in orientation:
result.append(f"{b}_{d}")
# 结果数量
print(len(result))
print(result)
# 写入文件
with open("classes.txt", "w", encoding="utf-8") as f:
for line in result:
f.write(line + "\n")

结果如下

4

将该文件命名为classes.txt,随后我们可以使用该文件作为labelimg标注工具的预设标签
接下来是图片的处理,我们将800张图片(更多类型以此类推)以下面的数量分割

100 150 250 300...

这样我们可以先标注前100张图片,训练出模型后,使用该模型来标注后面150张图片,然后人工来查找并修正错误,然后将该150张图片和前面100张合并,做增量训练(以此类推)。这样可以大大减少我们的工作量。

验证码标注

标记工具准备
先安装labelimg工具

pip install labelimg

进入存放图片的上级目录,然后再输入以下命令启动

labelimg ./images ./classes.txt

其中./images是存放图片的路径,./classes.txt是预设标签文件。

当进入工具界面后,我们在改目录创建labels目录并更改保存标签的位置到改目录。
接下来就是无聊的打标环节

5

标记完成后的标签目录

数据集切分

这个随便写个代码分割就行,比例大概是

训练集:验证集 = 8:2

├─images
│ ├─train
│ │ 003989b00a7b46514b65ad91e48a7309.jpg
│ │ 0058942dc80284a0121dd83e8af15039.jpg
│ │ ...
│ │
│ └─val
│ 9cbb49f0aa05f503f56938bd07609f19.jpg
│ 9d59c47b4bb9345753effdf9b7250c18.jpg
│ ...

└─labels

├─train
│ 003989b00a7b46514b65ad91e48a7309.txt
│ 0058942dc80284a0121dd83e8af15039.txt
│ ...

└─val
003989b00a7b46514b65ad91e48a7309.txt
0058942dc80284a0121dd83e8af15039.txt
...

模型训练

yolov5识别目标位置和方向

yolo是一款强大的目标检测算法,对此网上的教程很多了,我只说一下相关配置。

https://github.com/ultralytics/yolov5

配置文件准备

我们在data目录下创建config.yml文件,上面填写你的数据集目录,并将classes.txt类型填上去。

path: dataset  # 数据集目录(可以用绝对路径)
train: images/train # 训练图像目录(相对于path)
val: images/val # 验证图像目录(相对于path)
test: # test images (optional)

# 种类个数
nc: 132
# 种类名称列表
names: [ "A_侧向", "A_正向", "B_侧向", "B_正向", "C_侧向", "C_正向", "D_侧向", "D_正向", "E_侧向", "E_正向", "F_侧向", "F_正向", "G_侧向", "G_正向", "H_侧向", "H_正向", "I_侧向", "I_正向", "J_侧向", "J_正向", "K_侧向", "K_正向", "L_侧向", "L_正向", "M_侧向", "M_正向", "N_侧向", "N_正向", "O_侧向", "O_正向", "P_侧向", "P_正向", "Q_侧向", "Q_正向", "R_侧向", "R_正向", "S_侧向", "S_正向", "T_侧向", "T_正向", "U_侧向", "U_正向", "V_侧向", "V_正向", "W_侧向", "W_正向", "X_侧向", "X_正向", "Y_侧向", "Y_正向", "Z_侧向", "Z_正向", "a_侧向", "a_正向", "b_侧向", "b_正向", "c_侧向", "c_正向", "d_侧向", "d_正向", "e_侧向", "e_正向", "f_侧向", "f_正向", "g_侧向", "g_正向", "h_侧向", "h_正向", "i_侧向", "i_正向", "j_侧向", "j_正向", "k_侧向", "k_正向", "l_侧向", "l_正向", "m_侧向", "m_正向", "n_侧向", "n_正向", "o_侧向", "o_正向", "p_侧向", "p_正向", "q_侧向", "q_正向", "r_侧向", "r_正向", "s_侧向", "s_正向", "t_侧向", "t_正向", "u_侧向", "u_正向", "v_侧向", "v_正向", "w_侧向", "w_正向", "x_侧向", "x_正向", "y_侧向", "y_正向", "z_侧向", "z_正向", "0_侧向", "0_正向", "1_侧向", "1_正向", "2_侧向", "2_正向", "3_侧向", "3_正向", "4_侧向", "4_正向", "5_侧向", "5_正向", "6_侧向", "6_正向", "7_侧向", "7_正向", "8_侧向", "8_正向", "9_侧向", "9_正向", "圆柱_侧向", "圆柱_正向", "圆锥_侧向", "圆锥_正向", "球_侧向", "球_正向", "立方体_侧向", "立方体_正向" ]
下载预训练权重

https://github.com/ultralytics/yolov5/releases/tag/v7.0

选择你的预训练权重大小,推荐s和m大小的权重。
将下载好的预训练权重放入你的yolo文件夹

开始训练

方便起见我们在train.py同一目录创建train2.py文件

from yolov5.train import run

# 配置文件路径
CONFIG_PATH = r"yolov5\data\config.yaml"
# 权重文件路径
WEIGHTS_PATH = r"yolov5\yolov5m.pt"
# 运行结果保存路径
OUTPUT = r"output\train"
# 运行代码的硬件 (0,1,2...,cpu)
DEVICE = "0"

if __name__ == "__main__":
run(
data=CONFIG_PATH,
weights=WEIGHTS_PATH,
project=OUTPUT,
device=DEVICE,
num_workers=2,
batch_size=8
)

我们输入以下命令开始训练

python train2.py

训练结果

7

8

图片预测

我们可以使用detect.py推理图片,加上--save-txt可以保存标签文件。

注: 预测的图片不能是数据集的图片

python detect.py --weights [训练好的权重文件] --source [需要预测的图片目录] --data [配置文件data.yml路径] --save-txt

等待预测结束后可以查看预测结果。

9

增量训练

如果不太理想可以使用导出的标签文件重新标注,标注完成后将新的数据集合并到旧的数据集上。
权重选择上一次训练好的权重,然后重复训练步骤,直到模型达到你的预期为止。

AlexNet做颜色分类

模型和训练代码可以参考这篇文章

https://blog.csdn.net/weixin_45930948/article/details/120104737

数据集准备

我们使用yolo中推理代码来切割图片,加上--save-crop即可

python detect.py --weights [训练好的权重文件] --source [需要预测的图片目录] --data [配置文件data.yml路径] --save-crop

10

然后用你自己喜欢的方式将图片分成5种颜色,然后放入对应文件夹。

├─blue
│ 00032a30a25473496c51e5a6c3573dd9.jpg
│ ...

├─gray
│ 007733e2d23b38498b0194022edd344f.jpg
│ ...

├─green
│ 00c1c547043f1356fd19b311eaba0f5c.jpg
│ ...

├─red
│ 00d3b162c2f3ee9a304ad586aa06f652.jpg
│ ...

└─yellow
001d46958fb2fccc05c89e336bc36dac.jpg
...
代码处理

可以在训练和预测代码中把图片处理的归一化去除,因为后期导出onnx后没必要归一化处理图片。

11

并且将num_classes的值该为5,因为只需要识别5种颜色

训练模型

运行训练代码。

12

可以看到经过不到10轮训练,正确率已经接近1了,训练结束后选择正确率最高的模型进行预测。
这时可以运行预测代码查看训练结果

13

图片识别

导出onnx模型

yolov5导出

yolo提供功能齐全的导出代码,我们在export.py中修改模型路径、配置文件和导出的模型格式,运行后会在权重目录下生成同名的onnx模型。

AlexNet导出

在模型目录新建export.py

import torch
from model import AlexNet

out_onnx = 'model.onnx'
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
dummy = torch.randn(1, 3, 224, 224, dtype=torch.float32).to(device)

model = AlexNet(num_classes=5).to(device)
model.load_state_dict(torch.load("./你需要转换的模型路径"))
model.eval()

torch.onnx.export(model, dummy, out_onnx, verbose=True, input_names=["input"])
print("finish!")

运行后即可导出onnx模型

图片预处理和结果处理

仅展示颜色分类模型的onnx使用,yolo请自行百度。

注:yolo onnx模型也需要classes列表。

图片预处理

由于onnx模型需要使用np格式的图片,并且要求的图片维度为(1, 3, w, h)(可在导出里修改)所以我们需要使用cv2处理图片。

import cv2
import numpy as np

image = "图片路径"
img = cv2.imread(image)
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
img = cv2.resize(img, (224, 224)).astype(np.float32) / 255
img = np.expand_dims(np.transpose(img, (2, 0, 1)), axis=0)
# img处理后直接输入进onnx

注意的是,PIL类型的图片不能直接使用np.array()来转换图片,否则会影响图片预测结果,可以将PIL保存为二进制图片,再使用cv2读取。

结果处理

由于没有softmax函数所以我们自己写一个。

def softmax(x):
"""np实现torch.softmax"""
e_x = np.exp(x - np.max(x))
return e_x / np.sum(e_x)

完整的结果处理

import io
import cv2
import os
import numpy as np
import onnxruntime
from PIL import Image

class ColorClassify(object):
def __init__(self, color_model_path):
self.color_list = ["blue", "gray", "green", "red", "yellow"]
if not os.path.exists(color_model_path):
raise FileNotFoundError(f"Error! 模型路径无效: '{color_model_path}'")
self._session = onnxruntime.InferenceSession(color_model_path)

@staticmethod
def softmax(x):
"""np实现torch.softmax"""
e_x = np.exp(x - np.max(x))
return e_x / np.sum(e_x)

@staticmethod
def read_img(image):
"""
转换图片格式、形状(1,3,244,244)
注意! 不能直接使用np.array来转换Image图片! 否则输出结果不正确
"""
if isinstance(image, np.ndarray):
img = image
elif isinstance(image, bytes):
img = cv2.imdecode(np.array(bytearray(image), dtype='uint8'), cv2.IMREAD_COLOR)
elif isinstance(image, Image.Image):
buf = io.BytesIO()
image.save(buf, format="PNG")
img = cv2.imdecode(np.array(bytearray(buf.getvalue()), dtype='uint8'), cv2.IMREAD_COLOR)
elif isinstance(image, str):
img = cv2.imread(image)
else:
raise ValueError(f"Error! 不支持的图片格式: {type(image)}")
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
img = cv2.resize(img, (224, 224)).astype(np.float32) / 255
img = np.expand_dims(np.transpose(img, (2, 0, 1)), axis=0)
return img

def predict(self, image):
img = self.read_img(image)
result = self._session.run(None, {"input": img})
output = self.softmax(result[0][0])
# 最大值(置信度)
# predict_cla = max(output)
# 最大值索引
index = np.argmax(output)
return self.color_list[index]

if __name__ == "__main__":
cc = ColorClassify("model.onnx")
result = cc.predict("B.jpg")
print("预测结果: %s" % result)
# > 预测结果: blue

2种模型结合

  • 1.两种模型结合很简单,先使用yolov5进行模板检测,根据返回的坐标把图片切割下来,并保存改图片对应的标签
  • 2.在使用颜色分类模型对每种标签进行颜色分类,将识别到的颜色添加到对应标签上
  • 3.输出图像查看结果

颜色分类前:

14

颜色分类后:

提示词推理

3种提示类型

查看大量提示词后能发型一个规律,提示词主要有3种类型:

  • 请点击[目标]
  • 请点击[参照物]朝向一样的[目标]
  • 请点击[参照物]颜色一样的[目标]

而目标或参照物可具体分为:特征+物体或是单个物体

特征为颜色或朝向,并且二者不会同时出现,而大小写和数字我们已经区分好了,不属于特征。

所以特征一共3种:

  • 物体
  • 颜色 + 物体
  • 朝向 + 物体

整理完成后推理就相对简单了。

相同形状物体的处理

识别到相同物体的结果可能会出现以下情况:

  • c和C
  • I(大小i)和l(小写L)
  • k和K
  • o、O和0
  • s和S
  • v和V
  • w和W
  • x和X
  • z和Z

如果第一次查找图片中的物体没有查找到,那么可以将目标物体替换为相同形状的物体重新查找,直到查找到为止。

识别结果

最终达到了80%左右的正确率

可能是我推理代码写得不够好或是模型不够好,欢迎大佬指教。


注:若转载请注明大神论坛来源(本贴地址)与作者信息。

返回顶部