scan4all 安全扫描中的 URL 解析利器projectdiscovery/utils/urlurlutil深度解析【免费下载链接】scan4allOfficial repository vuls Scan: 15000PoCs; 23 kinds of application password crack; 7000Web fingerprints; 146 protocols and 90000 rules Port scanning; Fuzz, HW, awesome BugBounty( ͡° ͜ʖ ͡°)...项目地址: https://gitcode.com/GitHub_Trending/sca/scan4all导读vendor/github.com/projectdiscovery/utils/url下文简称 urlutil是 ProjectDiscovery 系列工具nuclei、httpx 等共享的 URL 解析增强库。它以net/url.URL为基础做了安全领域的专项增强能解析无 scheme 的 URL、保留 LFI/XSS/SQLi 等恶意 Payload 的原始编码、处理%invalid之类的非法路径并额外提供路径合并、端口裁剪、克隆等实用方法。scan4all 的 HTTP 探测模块pkg/httpx大量依赖该库解析目标 URL本文将以该库的 README.md 为主线结合其源码 url.go、orderedparams.go、rawparam.go、utils.go 展开讲解使读者既会调用 API又懂其设计动机。为什么在安全扫描中不能直接使用net/url.URL标准库net/url面向通用 URI 语义设计在以下场景中会好心办坏事直接影响扫描结果的准确性。无 scheme 的 URL 解析不准安全测试中来自目标资产收集、指纹匹配的结果往往是scanme.sh、scanme.sh:443/port、scanme.sh/with/path这类不带http://或https://前缀的裸主机/裸路径字符串。直接交给url.Parse()时scheme、host、path无法被正确归类后续所有基于 URL 的提取逻辑都会错位。参数值被强制编码破坏 Payload 完整性url.URL会按 RFC 规则对参数键值对url.Values{}中的所有保留字符做百分号编码。对于普通请求这没问题但安全扫描中 LFI../、%00、XSSscriptalert(1)/script、SQLi OR 11--等 Payload 恰恰依赖这些非法字符的原始形态。一旦被标准库重新编码Payload 的语义完整性就被破坏请求到达目标时已不是测试者精心构造的形态。非法/不安全路径被丢弃或直接报错url.Parse()遇到scanme.sh/%invalid这类非法的百分号编码时会直接返回 error 而拒绝解析对于scanme.sh/?someparamORORDERBY1--、scanme.sh/?some[param]scriptalert(1)/script这类带单引号、方括号、尖括号的 URL标准解析器要么丢弃、要么重新编码其中的特殊字符。而 Web 应用防火墙WAF绕过、畸形容器探测恰恰需要原样发送这类请求。结论需要一个宽松但可控的解析器urlutil 的定位在 README.md 中写得很清楚它是url.URL的一个 wrapper包装器专门处理上述非 RFC 兼容但在信息安全领域必须支持的边界情况。urlutil.URL 的核心设计字段与嵌入模型url.go 中定义了URL结构体它**内嵌embedding**了标准库*url.URL因此天然继承并暴露了url.URL的全部方法与字段如Scheme、Host、Path、RawQuery等同时新增了安全扫描所需的关键成员字段类型含义Originalstring原始输入 URL已去除参数部分用于后续路径完整性校验Unsafebool是否以不安全模式解析为 true 时跳过非法字符校验IsRelativebool是否为相对路径Params*OrderedParams有序查询参数容器见下文README 中特别强调了一个使用约束见 README.md除url.URL.Query()与url.URL.String()外可以放心使用url.URL的任何方法。原因很直接url.URL.Query()返回的是会破坏 Payload 编码的标准url.Valuesurl.URL.String()会以标准方式序列化整个 URL。若确实需要直接更新/引用包装的内部实例例如直接操作http.Request.URL必须先调用.Update()方法同步参数url.go 内部实现就是u.RawQuery u.Params.Encode()否则内部url.URL与Params会处于不一致状态。从零理解参数处理OrderedParams 与 Params参数处理是 urlutil 与标准库差异最大的部分也是 Payload 完整性保障的根基。为什么用 OrderedParams 而不是 url.Values标准url.Values本质是map[string][]string迭代顺序不稳定且Encode()会对保留字符做严格转义。urlutil 提供了两种参数容器Paramsmap[string][]string类型的普通参数表Encode()按 key 排序输出OrderedParams基于有序 mapmapsutil.OrderedMap实现严格保持参数的原始出现顺序。README 明确指出URL.Params使用OrderedParamsorderedparams.go 的注释也说明它与 Params 的唯一区别就是保序。保序的意义在于部分服务端以及指纹识别、签名校验对参数顺序敏感乱序可能导致鉴权失败或指纹误判。OrderedParams提供的 API 与url.Values高度相似但更宽松Set覆盖设置、Add追加多值、Get/GetAll取值、Has、Del、Merge合并另一组原始参数字符串、Clone深拷贝源码注释专门提到这是为了规避 nuclei 中的竞态问题、Iterate有序遍历。宽松的 Decode 与参数值编码规则Decode 采用松散解析策略按分割键值对若AllowLegacySeperator为 true;也作为分隔符——这是 Go 1.17 之前的老式行为每对再用切分为 key/value没有的参数按空值处理。真正关键的是编码侧。url.URL的标准Encode()会编码所有保留字符而 urlutil 的ParamEncode即URLEncodeWithEscapes见 rawparam.go遵循一套经过深思的规则控制字符ASCII 20与 DEL127百分号编码空格编码为HTML 表单惯例也是 Burp Suite Intruder 的默认行为ASCII 保留字符仅当命中传入的 charset 时才编码默认不编码非 ASCII如中文等 UTF-8 字符按字节转为%XX%XX形式最重要的不会对已编码的字符二次编码。文件中预定义了两套字符集常量rawparam.goMustEscapeCharSet? # ; , [ ] ^任何情况下都强制编码RFCEscapeCharSetRFC 保留字符全集! * ( ) ; : $ , / ? % # [ ]用于shouldEscape()判断路径是否需要转义。这意味着?someparamORORDERBY1--中的单引号、、-等字符都能原样保留——这正是 Payload 完整性保障的底层实现。解析入口 API 全解urlutil 提供四个公开解析入口分别对应不同的输入形态Parse / ParseURL通用解析绝对 URL 或裸目标Parse(inputURL string) (*URL, error)等价于ParseURL(inputURL, false)默认安全模式ParseURL(inputURL string, unsafe bool) (*URL, error)显式指定 unsafe 标志。其解析流程url.go相当考究先取参数与 fragmentfetchParams()先从原始串中切出#fragment与?params交给OrderedParams.Decode处理并立即Update()同步保证参数不被后续标准解析干扰识别相对路径以/开头但不以//开头的输入如/admin/login直接判定为相对路径源码注释指出//scanme.sh被视为合法因为所有浏览器都接受这种协议相对引用带 scheme 或://的输入走url.Parse()若解析失败且unsafetrue则降级到 parseUnsafeFullURL手动把https://scanme.sh/%invalid拆成host 部分 路径部分分别解析绕过标准库对非法百分号编码的报错无 scheme 输入先临时拼上https://尝试解析url.go成功后摘除临时 scheme若依然失败则视为相对路径主机名自动纠正解析完成后若Host不含.、:且不是localhost如裸词admin会被判定为非法域名并回退为相对路径——除非全局变量DisableAutoCorrect为 trueurl.go。ParseRelativePath相对路径专用解析ParseRelativePath(inputURL string, unsafe bool) (*URL, error)专门处理相对路径url.go内部仍借助url.Parse但把解析结果的Host清空解析失败时若unsafetrue就直接把原字符串作为Path。随后parseUnsafeRelativePath()url.go负责两件事纠正缺失的/前缀u.Path不以/开头时自动补上这也是 README 中Path 必须带/前缀、缺失会被自动纠正那条规则的具体实现还原路径完整性url.Parse()会规范化../../等路径README 提到的Path without/prefix is not allowed...autocorrectedparseUnsafeRelativePath会拿Original与Path比对一旦被标准化就恢复为原始路径从而保留../穿越语义。其他常用 API.TrimPort()去掉端口url.go实现为u.URL.Host u.Hostname().UpdatePort(newport string)设置或替换端口url.go.MergePath(newrelpath string, unsafe bool)把新的相对路径合并进当前路径参数自动并入Paramsurl.go.UpdateRelPath(newrelpath string, unsafe bool)重置路径后用MergePath替换url.go已有参数不会丢失.Clone()深拷贝特别注意Userinfo的不可变性url.go.GetRelativePath()输出path?params#fragment形式的相对路径url.go.EscapedString()生成可作为文件名的字符串Windows 下把:替换为_url.go。AutoMergeRelPaths无解析对象的路径合并工具函数AutoMergeRelPaths 接收两个相对路径字符串内部各自走ParseRelativePath(..., true)合并参数与路径后返回最终相对路径串。其路径合并逻辑mergePathsutils.go行为与path.Join一致例如/blog/admin→/blog/admin且不做多余规范化。在 scan4all 中的实际调用场景urlutil 已进入 scan4all 的 vendor 依赖树并在 HTTP 探测相关模块中承担 URL 解析职责可直接在扫描流程中印证上文 API 的行为。httpx runner目标 URL 的解析与重定向处理pkg/httpx/runner/runner.go 中多处使用urlutil.Parserunner.go#L821对输入目标调用urlutil.Parse(target)获得规范化后的 URL 结构用于探测runner.go#L865对域名执行同样的解析runner.go#L978对完整的重定向 URL 做解析用于跟踪跳转链路runner.go#L1532再一次解析完整 URL用于输出与指纹相关的处理。stringz默认端口与非法 URI 处理pkg/httpx/common/stringz/stringz.go 展示了 urlutil 的两个典型工程化用法AddURLDefaultPort 与 RemoveURLDefaultPort借助urlutil.Parse与常量urlutil.HTTP/urlutil.HTTPS为无端口 URL 补上:80/:443或在输出前剔除默认端口GetInvalidURI先尝试标准url.Parse失败后再用urlutil.Parse兜底命中畸形 URL 时返回u.RequestURI——这正是标准库不认、但安全工具必须认的典型场景。httputilz从原始请求中抽取 Hostpkg/httpx/common/httputilz/httputilz.go#L76-L84 处理raw request 的请求行直接带完整 URL的情况urlutil.Parse(parts[1])解析后取其Host覆盖请求头保证后续Host头与目标一致。实践建议与注意事项优先使用 urlutil 的 API而非绕过在编写基于 scan4all/nuclei 生态的插件或二次开发时凡涉及目标 URL 解析应优先使用urlutil.ParseURL/ParseRelativePath而不是裸调net/url.Parse凡是参数构造应使用Params/OrderedParams而非url.Values。这样能继承 Payload 完整性保护与 unsafe 模式。牢记.Update()的触发条件只要直接操作了嵌入的url.URL字段例如u.Path /x后又被其他组件读取u.RequestURI或把u.URL直接赋给http.Request.URL就应调用.Update()让RawQuery与Params保持一致否则可能出现参数丢失或编码不一致。理解 unsafe 与 DisableAutoCorrect 的边界unsafetrue让解析器容忍%invalid等非法编码与畸形路径适合对不可信/畸形目标做探测但要清楚它绕过了 RFC 校验输出可能无法被标准 HTTP 客户端直接使用DisableAutoCorrecttrue会关闭无点域名回退为相对路径的自动纠正逻辑url.go在需要把admin这类短主机名当作合法 Host 的私有网络场景下可按需开启。参数分隔符与编码的可配置性AllowLegacySeperatorrawparam.go默认false需要兼容旧式;分隔参数的服务端时可置为true需要更激进的编码时可选用 PercentEncoding对全部字符做百分号编码等价于 Burp Decoder或自定义 charset 调用URLEncodeWithEscapes。小结urlutil 解决了一个非常具体且尖锐的问题安全扫描的 Payload 与畸形 URL 无法被严格遵循 RFC 的标准库原样表达。通过嵌入url.URL继承全部能力、用OrderedParams保序且宽松地处理参数、以unsafe模式兜底非法编码、以parseUnsafeRelativePath还原路径穿越语义它在兼容性与攻击性之间找到了工程平衡点。scan4all 的 httpx 探测链路pkg/httpx/runner/runner.go、pkg/httpx/common/stringz/stringz.go、pkg/httpx/common/httputilz/httputilz.go已在生产路径上大量使用该库后续阅读这些模块时本文梳理的字段、API 与设计动机可以作为直接的代码导航索引。【免费下载链接】scan4allOfficial repository vuls Scan: 15000PoCs; 23 kinds of application password crack; 7000Web fingerprints; 146 protocols and 90000 rules Port scanning; Fuzz, HW, awesome BugBounty( ͡° ͜ʖ ͡°)...项目地址: https://gitcode.com/GitHub_Trending/sca/scan4all创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考