设计想法

• 一个工具，负责将输入信息转换为附带指纹信息输出。
• 既可以提供接口给平台调用，又可以作为工具单独使用。

目标输入

• 单个目标
• 文件导入
• 标准输入
• API接口

• 去重处理

功能队列

• 指纹识别
• 服务识别
• nuclei验证漏洞
• Webhook结果推送
• 保存到文件或者打印

• API响应返回

指纹规则

管理更新

• 指纹库

https://github.com/0x727/FingerprintHub

• 以组件名命名单个yaml文件，多个指纹规则。

name: 0example
priority: 3
nuclei_tags: - []
fingerprint: - path: / request_method: get request_headers: {} request_data: '' status_code: 0 headers: {} keyword: - <title>Example Domain</title> favicon_hash: []

• FingerprintHub会将指纹扁平化处理，将name和priority放进单个指纹中。

{ "path": "/", "request_method": "get", "request_headers": {}, "request_data": "", "status_code": 0, "headers": {}, "keyword": [ "<title>Example Domain</title>" ], "favicon_hash": [], "priority": 3, "name": "0example" },

指纹分类

• 指纹序列化后会在Rust数据结构中分为：请求部分和匹配部分，这样可以把相同请求的指纹归整在一起，在函数缓存中方便Hash。

#[derive(Debug, Serialize, Deserialize, Clone)]
pub struct V3WebFingerPrint { #[serde(default)] pub name: String, #[serde(default)] pub priority: u32, pub request: WebFingerPrintRequest, pub match_rules: WebFingerPrintMatch,
}

• 根据请求的路径和请求方法是否是自定义请求，是否有favicon_hash来分类到：首页匹配，图标匹配和自定义匹配

请求逻辑

• 流程图

flowchart TD
subgraph gg[结束]
结束
end
subgraph request [请求逻辑]
目标([目标])-->判断协议{是否有协议判断}
判断协议-->|有| 首页请求[首页请求]
判断协议-->|没有| 添加协议[[添加HTTPS协议]]
添加协议-->首页请求
首页请求-->是否有响应{是否有响应}
是否有响应-->|HTTPS没有响应| 添加HTTP协议[[换HTTP协议]]
添加HTTP协议-->首页请求
是否有响应-->|有响应| 生成匹配数据[[生成匹配数据]]
是否有响应-->|没有响应| 结束([结束])
生成匹配数据-->是否有跳转{是否有跳转}
是否有跳转-->|有跳转|是否超过最大跳转次数{是否超过最大跳转次数}
是否超过最大跳转次数-->|没有|继续请求[[继续请求]]
继续请求[[继续请求]]-->是否有响应{是否有响应}
是否有跳转-->|没有跳转|匹配数据列表[(添加匹配数据到列表)]
是否超过最大跳转次数 -->|超过最大跳转次数| 匹配数据列表[(添加匹配数据到列表)]
end
subgraph matcher [Web匹配逻辑]
匹配数据列表-->是否有图标Hash{是否有图标Hash}
是否有图标Hash-->|有| 匹配图标Hash指纹[[匹配图标Hash指纹]]
是否有图标Hash-->|没有| 匹配图标关键词指纹[[匹配图标关键词指纹]]
匹配图标Hash指纹-->是否有交集{是否有交集}
是否有交集-->|真|匹配到Web指纹
是否有交集-->|假|跳过
匹配图标关键词指纹-->短路求值{短路求值}
短路求值-->|真|匹配到Web指纹
短路求值-->|假|跳过
跳过-->结束
end
subgraph info [补充指纹信息]
匹配到Web指纹-->是否开启服务识别{是否开启服务识别}
是否开启服务识别-->|开启|服务识别[[补充服务信息]]
是否开启服务识别-->|没有开启|是否调用nuclei{是否调用nuclei}
服务识别-->是否调用nuclei{是否调用nuclei}
是否调用nuclei-->|调用|调用nuclei[[调用nuclei]]
是否调用nuclei-->|没有调用|结果队列[(结果队列)]
调用nuclei-->结果队列[(结果队列)]
end
subgraph result [结果处理]
结果队列-->是否开启Webhook{是否开启Webhook}
是否开启Webhook-->|开启|调用结果到Webhook服务器[[调用结果到Webhook服务器]]
是否开启Webhook-->|没有开启|是否需要保持到文件{是否需要保持到文件}
调用结果到Webhook服务器-->是否需要保持到文件{是否需要保持到文件}
是否需要保持到文件-->|是|保存到文件[[保存到文件]]
保存到文件-->打印结果到屏幕[[打印结果到屏幕]]
是否需要保持到文件-->|否|打印结果到屏幕[[打印结果到屏幕]]
打印结果到屏幕[[打印结果到屏幕]]-->结束([结束])
end

生成匹配数据

• 匹配数据是什么？就是指纹规则中的可以匹配的字段，比如：响应体和响应头中的关键词，响应状态码，图标Hash组成的数据结构。
• 每一个请求响应都会生成匹配数据
• 匹配结构

pub struct RawData { pub url: Url, pub path: String, pub headers: reqwest::header::HeaderMap, pub status_code: reqwest::StatusCode, pub text: String, pub favicon: HashMap<String, String>, pub next_url: Option<Url>,
}

• 提取跳转URL，图标URL和网页标题的正则表达式
• 网页标题的来源：title标签和meta标签的content内容。

pub fn get_title(text: &str) -> String { for titles in Document::from(text).find(Name("title")) { if !titles.text().is_empty() { return titles.text(); } } for titles in Document::from(text).find(Name("meta")) { if titles.attr("property") == Some("title") { return titles.attr("content").unwrap_or_default().to_string(); } } String::new()
}

• 获取网页图标的代码

fn get_favicon_link(text: &str, base_url: &Url) -> HashSet<Url> { let mut icon_links = HashSet::new(); for links in Document::from(text).find(Name("link")) { if let (Some(rel), Some(href)) = (links.attr("rel"), links.attr("href")) { if ["icon", "shortcut icon"].contains(&rel) { if href.starts_with("http://") || href.starts_with("https://") { let favicon_url = Url::parse(href).unwrap_or_else(|_| base_url.clone()); icon_links.insert(favicon_url); } else { let favicon_url = base_url.join(href).unwrap_or_else(|_| base_url.clone()); icon_links.insert(favicon_url); } } } } if let Ok(favicon_url) = base_url.join("/favicon.ico") { icon_links.insert(favicon_url); } icon_links
}

• 获取下一跳地址：首先是30x状态码的请求头LOCATION跳转链接，然后判断meta标签是否有http-equiv属性为的refresh的再回去url属性得到跳转地址，剩下的就只有正则匹配获取了。

 fn get_next_jump(headers: &HeaderMap, url: &Url, text: &str) -> Option<Url> { let mut next_url_list = Vec::new(); if let Some(location) = headers .get(LOCATION) .and_then(|location| location.to_str().ok()) { next_url_list.push(location.to_string()); } if next_url_list.is_empty() { for metas in Document::from(text).find(Name("meta")) { if let (Some(url),Some(http_equiv)) = (metas.attr("url"),metas.attr("http-equiv")) { if http_equiv == "refresh"{ next_url_list.push(url.to_string()); } } } } if next_url_list.is_empty() && text.len() <= 1024 { for reg in RE_COMPILE_BY_JUMP.iter() { if let Some(x) = reg.captures(text) { let mut u = x.name("name").map_or("", |m| m.as_str()).to_string(); u = u.replace('\\'', "").replace('\\"', ""); next_url_list.push(u); } } } if let Some(next_url) = next_url_list.into_iter().next() { return if next_url.starts_with("http://") || next_url.starts_with("https://") { match Url::parse(&next_url) { Ok(next_path) => Some(next_path), Err(_) => None, } } else if let Ok(next_path) = url.join(&next_url) { Some(next_path) } else { None }; }; None
}

网页编码

lazy_static! { static ref RE_COMPILE_BY_CHARSET: Regex = Regex::new(r#"(?im)charset="(.*?)"|charset=(.*?)""#).expect("RE_COMPILE_BY_CHARSET");}

• 通过网页head标签中的charset获取编码类型，没有就从请求头中的CONTENT_TYPE中获取，都没有默认utf-8

单元测试

• 正常https目标

#[tokio::test] async fn test_send_requests() { let test_url = Url::parse("<https://httpbin.org/>").unwrap(); let fingerprint = WebFingerPrintRequest { path: String::from("/"), request_method: String::from("GET"), request_headers: Default::default(), request_data: Str
ing::from(""), }; let timeout = 10_u64; let request_config = RequestOption::new(&timeout, ""); let res = send_requests(&test_url, &fingerprint, &request_config) .await .unwrap(); assert!(res.text().await.unwrap().contains("swagger-ui")); }

badssl.com

Github Action

https://github.com/0x727/FingerprintHub

指纹更新

• 每次commit触发pre-commit.yml格式化检查yaml文件，重新生成web_fingerprint_v3.json指纹文件和nuclei的对应关系
• 同时定时每6小时更新一次nuclei-templates项目的插件，根据nuclei和指纹组件的对应关系将插件复制到以组件名为目录。

https://github.com/0x727/ObserverWard

• 单元测试和编译测试，格式化代码，和代码风格规范
• dependabot.yml依赖库版本过低提醒，会自动提交PR，又会触发上面的测试CI，当全部测试通过后，可以合并更新最新依赖库。比封我号的机器人好多了！
• post-release.yml当我发布版本打tag标签时触发CI根据CHANGELOG.md生成版本描述并且创建release编译和发布版本。

指纹审核

• 流程：根据issue模板添加指纹，action解析issue内容，生成一个yaml文件，和一个测试目标，机器人使用侦查守卫自动验证指纹，发表评论，等待管理员审核，管理员添加审核通过标签后触发合并action。

flowchart TD
subgraph add [添加指纹]
打开issue添加指纹([打开issue添加指纹])-->解析issue内容{是否符合格式要求}
解析issue内容-->|符合| 验证指纹[验证指纹]
解析issue内容-->|不符合| 提示并且关闭issue[[提示并且关闭issue]]
提示并且关闭issue-->gg[[结束]]
验证指纹-->是否识别成功{是否识别成功}
是否识别成功-->|是| 待审核标签[[待审核标签]]
是否识别成功-->|否| 修改yaml指纹[[评论修改yaml指纹]]
修改yaml指纹-->验证指纹[[验证指纹]]
待审核标签-->是否审核通过[[是否审核通过]]
是否审核通过-->|是| 通过标签[[通过标签]]
是否审核通过-->|否| 原因[[原因]]
通过标签-->合并请求[[合并请求]]
end

• 类型：添加指纹，修改指纹，删除指纹
  • 添加指纹：标题为：添加指纹-[组件名称]，评论内容为Yaml格式，测试目标使用