1. 项目概述从“搜不到”到“信息过载”的实战跨越做安全测试、渗透评估或者哪怕只是想深入了解一个目标信息收集永远是第一步也是最关键的一步。很多人觉得信息收集就是打开搜索引擎输入公司名然后看前几页结果。这种“佛系”搜索在真正的实战中基本等同于“裸考”。真正的信息收集是主动的、系统的、深入的它要求你像一个数字侦探从公开的互联网碎片中拼凑出目标的完整画像。今天要聊的就是两把在公开信息收集领域堪称“神器”的武器Google Hacking 和 GitHub。前者让你把搜索引擎的潜力榨干后者则让你直接潜入目标的“开发后院”。很多人听说过这些名词但真正能用好、用精的并不多。这篇文章我将结合自己多年的红队和渗透测试经验为你拆解这两项技术的核心原理、实战技巧和那些“踩坑”后才明白的注意事项目标是让你看完后不仅能理解更能立刻上手构建起一套高效、精准的公开信息收集工作流。2. 核心思路为什么是Google和GitHub在深入技术细节前我们先要理解为什么这两者组合起来威力巨大。这背后是两种截然不同但又互补的信息源逻辑。2.1 Google Hacking利用搜索引擎的“透视”能力Google Hacking本质上不是“黑”Google而是“高级使用”Google。它基于一个简单但强大的前提互联网上存在大量被无意或有意公开但并未被普通搜索触及的敏感信息。这些信息可能存在于网站的日志文件、备份目录、配置页面、错误信息甚至是公开的摄像头管理界面中。搜索引擎的爬虫Googlebot会忠实地遍历它能访问的网页并将内容索引。问题在于很多网站管理员并没有通过robots.txt文件或元标签有效地阻止爬虫抓取敏感路径。这就导致了大量本应“后台”的数据被索引到了公开的搜索引擎数据库里。Google Hacking的核心就是通过一系列精妙的搜索语法操作符像使用过滤器一样从海量索引中精准筛出这些“泄露”的信息。它不是攻击而是“发现”。其价值在于非侵入性完全基于公开搜索不涉及任何漏洞利用或未授权访问。高精准度通过组合关键词和操作符可以定位到特定文件类型、目录、错误信息甚至软件版本。发现未知资产能找到目标自己都可能遗忘的旧版网站、测试环境、备份服务器等影子资产。2.2 GitHub开发者的“数字足迹”金矿如果说Google提供了目标的“公开店面”视图那么GitHub就是目标的“研发车间”和“内部会议室”。作为全球最大的代码托管平台开发者在上面提交代码、管理项目、记录问题、撰写Wiki。在这个过程中会不可避免地留下大量“数字足迹”硬编码的凭证这是最常见也最致命的问题。API密钥、数据库密码、云服务访问令牌、加密密钥等被直接以明文形式写在配置文件、源代码或提交历史中。内部信息泄露代码注释、提交信息、Issue讨论里可能包含内部系统架构图、未公开的API端点、测试用的子域名、员工邮箱命名规则、甚至是未来的业务计划。配置与路径信息docker-compose.yml,.env.example,config文件等会暴露内部服务的网络结构、依赖的中间件版本等。历史漏洞痕迹查看某段敏感代码的修改历史可能发现它曾存在但已被修复的漏洞这为理解目标系统的安全演进提供了线索。GitHub搜索的强大之处在于它允许你直接搜索代码库的内容。你可以搜索特定的关键词、文件路径、语言甚至指定仓库的所有者或组织。这让你能直接“翻阅”目标的开发笔记。两者的结合逻辑通常我会先用Google Hacking进行广域扫描发现目标的各类域名、子域名、特定技术栈的页面。然后针对发现的关键目标如公司名、产品名、特定域名转向GitHub进行深度挖掘寻找代码层面的敏感信息。这是一个由面到点由外到内的过程。3. Google Hacking语法精解与实战场景掌握Google Hacking关键在于熟练运用其搜索操作符。下面我将最常用、最有效的操作符分类讲解并附上真实的搜索案例和意图解析。3.1 基础定位操作符这些操作符用于将搜索范围限定在特定目标上。site:这是最核心的操作符。它将搜索结果严格限制在指定的域名或子域名下。示例site:example.com意图找出example.com域名下所有被Google索引的页面。这是信息收集的起点。进阶site:*.example.com可以尝试搜索所有子域名但Google对通配符支持有限更可靠的是结合其他工具枚举子域名后再用site:逐一验证。inurl:/allinurl:搜索URL中包含特定关键词的页面。inurl:匹配一个关键词allinurl:匹配所有后续关键词。示例inurl:admin site:example.com意图在example.com中寻找URL里含有“admin”的页面可能是管理员登录入口。示例allinurl:login php意图寻找URL中同时包含“login”和“php”的页面可能是PHP编写的登录页面。intitle:/allintitle:搜索网页标题中包含特定关键词的页面。示例intitle:index of parent directory意图经典的目录遍历漏洞利用。寻找标题为“Index of”且包含“parent directory”的页面这通常是开启了目录列表功能的Web服务器可能暴露整个目录的文件。示例allintitle:restricted access login意图寻找标题中同时有“restricted access”和“login”的页面可能是某种访问控制页。intext:/allintext:搜索网页正文内容中包含特定关键词的页面。示例intext:sql syntax near site:example.com意图在目标网站中寻找包含SQL语法错误的页面这暗示该页面可能存在SQL注入漏洞并且开启了错误回显一个高危信号。示例allintext:username password login意图寻找包含经典登录表单元素的页面。3.2 文件与类型操作符用于寻找特定类型的文件或资源这些文件往往包含高价值信息。filetype:/ext:搜索特定扩展名的文件。示例filetype:pdf site:example.com confidential意图在目标网站中搜索包含“confidential”字样的PDF文件可能是泄露的内部手册、合同或报告。示例ext:sql INSERT INTO users意图寻找公开的SQL数据库备份文件其中包含向用户表插入数据的语句。高价值文件类型pdf,doc,docx,xls,xlsx办公文档可能含内部信息。sql,dump,bak数据库备份可能是“宝藏”。txt,log日志文件可能包含访问记录、调试信息。env,config,properties,yml,yaml配置文件极可能含密码、密钥。zip,rar,tar.gz压缩包可能包含整个网站或项目的源代码备份。inurl:结合文件路径关键词。示例inurl:/phpinfo.php意图寻找未删除的phpinfo.php文件该文件会泄露服务器PHP配置、环境变量、路径等大量敏感信息。示例inurl:/wp-admin/ -inurl:/wp-admin/admin-ajax.php意图寻找WordPress的admin目录但排除掉其中一个特定AJAX文件以更精准地找到登录后台路径。3.3 排除与精确匹配用于净化搜索结果提高精准度。-(减号)排除包含某个关键词的结果。示例site:example.com login -inurl:/wp-login.php意图在目标站内找登录页面但排除掉已知的WordPress登录地址以发现其他自定义或第三方系统的登录入口。 (双引号)精确匹配短语。示例您的请求中存在可疑参数 site:example.com意图精确搜索特定的错误信息这能帮你快速定位到存在某种安全防护如WAF或特定框架报错的页面。|(竖线)逻辑“或”。示例(inurl:login | inurl:signin) site:example.com意图搜索目标站内URL包含“login”或“signin”的页面。3.4 实战场景组合拳现在让我们把操作符组合起来模拟几个真实的侦察场景场景一寻找目标的公开配置文件或备份文件。site:target-company.com (filetype:env | filetype:config | filetype:yml | filetype:properties) (password | key | secret | token)解析在目标公司域名下搜索环境变量、配置文件并且这些文件内容里包含“password”、“key”等敏感词汇。场景二发现目标使用的特定技术栈的管理后台。intitle:Drupal Log in site:*.target-company.com解析在目标的任何子域名下寻找标题包含“Drupal”且有“Log in”字样的页面定位Drupal CMS的管理员登录入口。场景三搜索可能存在目录遍历的服务器。intitle:index of parent directory (mp4 | mkv | avi)解析寻找开启了目录列表的服务器并且该目录下包含视频文件mp4, mkv, avi这可能是某个媒体或文件服务器的配置失误。注意Google Hacking的搜索频率过高或使用过于复杂的组合查询可能会触发Google的临时屏蔽CAPTCHA验证或短暂无法访问。建议在自动化工具中合理设置延迟并准备多个IP或使用可靠的代理池此处指合规的网络代理服务用于管理多出口IP非特指任何违规服务。同时所有搜索行为必须严格在法律和授权范围内进行仅针对你拥有明确测试权限的目标。4. GitHub信息收集从代码仓库中挖掘“宝藏”GitHub搜索比Google搜索更“直击要害”因为它直接面向代码和项目元数据。其高级搜索语法同样强大。4.1 GitHub搜索基础与高级语法GitHub的搜索框支持丰富的限定符。你可以在搜索框中直接使用也可以在网址中构造。in:name/in:description/in:readme在仓库名称、描述或README文件中搜索关键词。示例target-company in:name意图查找名称中包含“target-company”的仓库可能是其官方或员工个人项目。org:/user:限定在特定组织或用户下搜索。示例org:github language:python意图在GitHub官方组织的所有仓库中搜索用Python语言编写的项目。示例user:johndoe password意图在用户“johndoe”的所有公开代码中搜索“password”这个词。language:按编程语言过滤。示例language:javascript api key意图在所有JavaScript代码中搜索“api key”字符串。filename:搜索特定文件名的文件。示例filename:.env DB_PASSWORD意图在所有名为.env的环境配置文件中搜索包含“DB_PASSWORD”的行。这是寻找数据库密码的经典方法。示例filename:docker-compose.yml target-company.com意图在docker-compose.yml文件中搜索包含目标公司域名的配置可能发现内部服务映射。path:在特定路径下搜索。示例path:/config secret_key_base language:yaml意图在/config目录下的YAML文件中搜索Rails应用的密钥配置。代码内容搜索这是最强大的功能。直接在搜索框输入字符串默认就是在所有公开代码中搜索。示例AKIA[0-9A-Z]{16}这是一个粗略的正则实际GitHub不支持完全正则但可以模糊匹配更实际的做法搜索已知的密钥模式前缀如AKIA(AWS Access Key ID),sk_live(Stripe Secret Key),xoxb(Slack Bot Token) 等。示例mongodb:// password意图搜索包含MongoDB连接字符串且附近有“password”的代码。4.2 高价值搜索模式与关键词库建立一个自己的“敏感信息关键词库”至关重要。以下是一些常见的高价值搜索模式凭证与密钥password,passwd,pwdsecret,key,token,credentialapi_key,api_secret,access_key,secret_keyaws_access_key_id,aws_secret_access_keydatabase_password,db_pass,DB_PASSencryption_key,private_keyoauth_token,bearer_token配置文件与路径filename:.env,filename:config.ini,filename:application.propertiesfilename:settings.py,filename:config.pyfilename:wp-config.php(WordPress)filename:Web.config(ASP.NET)filename:travis.yml,filename:.gitlab-ci.yml(CI/CD配置可能含部署密钥)内部信息目标公司内部域名、邮箱后缀如internal.corp.com。内部系统名称、项目代号。TODO,FIXME,HACK等注释后面可能跟着安全相关的备注。test,staging,dev等环境标识结合域名或IP。实操技巧不要只搜索单个关键词。尝试组合并利用org:或user:进行限定。例如org:target-company (password OR secret OR key) filename:.env这个搜索会非常精准地在目标公司的所有公开仓库的.env文件里寻找凭证信息。4.3 深入挖掘GitHub的“时间线”与网络图代码搜索只是第一步。一个仓库的提交历史、分支、Issues和Pull Requests往往蕴含着更多信息。审查提交历史Commit History查看已删除的敏感信息开发者可能在一次提交中误加了密码然后在下次提交中删除。但删除的记录依然在历史中可见。使用git log -p或在GitHub上浏览历史提交的差异diff可以找到这些“亡羊补牢”的痕迹。分析开发习惯提交信息可能暴露内部工作流程、使用的工具链、甚至测试服务器的地址。搜索Issues和Pull Requests开发者可能在Issue中贴出错误日志里面包含内部路径、IP或堆栈跟踪信息。Pull Request的讨论中可能涉及对安全问题的修复讨论间接暴露了曾存在的漏洞。利用GitHub的依赖关系图Dependency Graph和代码频率图了解目标项目使用了哪些第三方库其中是否有已知漏洞的版本。通过贡献者信息可能关联到员工的个人GitHub账号进而发现其其他的公开项目扩大侦察面。重要心得GitHub搜索的结果是实时的且受限于你的网络访问质量。对于国内用户访问GitHub可能不稳定。这里务必注意我们讨论的是在合法授权下通过正常网络渠道访问GitHub公开信息。任何试图通过非正规手段绕过网络限制的行为都是不被允许且存在风险的。在进行授权测试时应确保测试环境本身具备稳定访问这些资源的条件。你可以关注项目的官方文档或合规的开发者社区了解推荐的访问方式。5. 自动化工具链整合与工作流构建手动进行上述搜索是低效的。在实际工作中我们需要将这个过程自动化、流程化。下面介绍一个典型的自动化信息收集工作流及常用工具。5.1 工作流设计一个高效的工作流通常是分阶段、递进的目标确认与范围界定明确要收集信息的目标一个公司、一个域名、一个产品。被动信息收集Passive Recon使用不直接与目标交互的工具从第三方获取信息。这是主要阶段。子域名枚举使用工具如subfinder,amass,assetfinder获取所有关联子域名。Google Hacking自动化使用googledork类工具或自定义脚本批量执行预定义的搜索语法保存结果。GitHub信息聚合使用GitHub Cli (gh)结合脚本或专用工具如gitleaks用于检测仓库历史中的敏感信息、truffleHog用于扫描提交历史中的高熵字符串如密钥进行扫描。其他公开源查询DNS记录、WHOIS信息、证书透明度日志CT Logs、归档网站如 Wayback Machine等。信息整理与去重将来自不同渠道的信息域名、URL、IP、文件合并去除重复项。主动验证与探测可选需授权对发现的有效资产进行简单的存活探测、端口扫描、标题获取等以确认其有效性并丰富资产画像。报告生成将整理后的资产列表、发现的敏感信息如暴露的文档、可能的配置页汇总成报告。5.2 推荐工具与脚本示例子域名枚举subfinder -d example.com -silent | tee subdomains.txtamass enum -passive -d example.com -o amass.txtGoogle Hacking自动化概念示例 你可以编写一个Python脚本使用googlesearch-python库注意其限制和合规使用循环读取一个包含多条Google Dork语法的文件进行搜索。但更常见的做法是使用成熟的框架它们集成了多个数据源。# 这是一个非常基础的概念示例实际使用需考虑速率限制、反爬和法律合规。 from googlesearch import search import time dorks [ site:example.com filetype:pdf, inurl:admin site:example.com, intitle:index of site:example.com ] results set() for dork in dorks: try: for url in search(dork, num_results5, pause5.0): # 务必设置较长的pause results.add(url) print(f[Found] {url}) except Exception as e: print(fError searching {dork}: {e}) time.sleep(10) # 避免请求过快GitHub信息收集使用GitHub CLI (gh):# 搜索代码 gh api search/code -q target-company.com in:file --jq .items[].html_url | head -20 # 搜索仓库 gh repo list org --limit 100使用gitleaks扫描本地克隆的仓库# 先克隆一个可疑仓库 git clone https://github.com/someuser/somerepo.git cd somerepo # 使用gitleaks检测 gitleaks detect -v --source . --report-format json --report-path gitleaks_report.json使用trufflehog扫描仓库URLtrufflehog git https://github.com/someuser/somerepo.git --only-verified一体化侦察框架recon-ng模块化的侦察框架功能强大学习曲线稍陡。theHarvester主要用于收集邮箱、子域名、主机名等信息。SpiderFoot自动化OSINT开源情报工具集成了数百个数据源包括Google和GitHub的查询模块图形化界面友好。5.3 信息整理与可视化收集到的原始数据是杂乱无章的。你需要将其整理。去重与过滤使用sort,uniq,grep,awk等命令行工具进行初步处理。资产清单最终形成一个结构化的清单至少包含资产类型域名/IP/URL、来源Google/GitHub/子域名枚举、备注如“疑似管理后台”、“暴露PDF文档”。可视化可选对于大型目标可以使用Maltego这类工具进行实体关系可视化清晰展示域名、IP、人员、文档之间的关联。6. 法律边界、伦理考量与防御建议这是整个过程中最重要的一章。技术本身无罪但如何使用它决定了性质。6.1 法律与授权红线绝不能碰明确授权绝对不要对任何你没有书面明确授权测试的目标进行上述信息收集活动。这包括但不限于非你所属的公司、客户的竞争对手、任何你个人感兴趣但无关的网站。未经授权的扫描和探测可能违反《计算机信息系统安全保护条例》等相关法律法规构成违法行为。范围限定即使获得授权也必须严格在授权范围内活动。如果授权测试*.example.com就不要去搜索example-inc.com除非它明确在范围内。数据处置在测试过程中收集到的任何敏感信息即使是公开的都必须严格保密仅用于本次安全评估目的。测试结束后应按照双方约定妥善销毁或移交。尊重robots.txt虽然robots.txt只是协议而非强制安全措施但在伦理上应尊重网站所有者通过该文件表达的意愿。一些自动化工具如amass在被动模式下会遵守robots.txt。6.2 防御视角如何保护自己不被“收集”作为防御方蓝队、开发人员、运维人员了解攻击者的手法是为了更好地防御。对Google搜索引擎的防御检查并完善robots.txt确保它正确阻止了爬虫访问敏感目录如/admin/,/config/,/backup/,/logs/。使用noindex元标签对于不应被索引的动态页面或内部页面在HTML头部添加 。定期进行“自我Google Hacking”以site:yourdomain.com为基础结合常见的敏感文件关键词如filetype:sql,inurl:phpinfo搜索自己的公司看看有没有“惊喜”。这是最有效的自查方式。清理线上敏感文件立即删除或移走线上环境不应存在的源代码压缩包、配置文件如.env、web.config、版本控制目录如.git/、备份文件.bak,.sql。对GitHub的防御推行代码安全扫描SAST在代码提交Pre-commit或合并Merge Request环节集成像gitleaks、trufflehog或商业SAST工具自动检测并阻止包含硬编码密钥、密码的代码提交。加强开发者安全意识培训让每一位开发者都明白绝对不能将凭证、密钥、内部IP/域名明文写入代码并提交到仓库即使是私有仓库。使用环境变量或安全的密钥管理服务如AWS Secrets Manager, HashiCorp Vault。定期审计历史提交对重要的仓库定期运行gitleaks或类似工具扫描整个提交历史清理历史遗留的敏感信息。注意仅仅在最新提交中删除是不够的必须改写历史使用git filter-branch或BFG Repo-Cleaner但这需要谨慎操作并通知所有协作者。审查仓库的公开性定期检查公司组织下的仓库确认没有误设为公开Public的私有项目。鼓励员工对个人项目中的公司相关信息进行自查。使用GitHub的安全功能启用GitHub的依赖项警报、秘密扫描Secret Scanning等功能。对于企业版可以利用高级安全功能进行更严格的控制。6.3 我的实操心得与避坑指南心态上公开信息收集更像“拼图”而不是“爆破”。耐心和细致比技术炫技更重要。一个不起眼的子域名或一份旧的会议纪要PDF可能是突破内网的关键。技巧上关键词需要迭代不要指望一次搜索就能搞定。根据初步结果中发现的新名词如项目代号、内部系统名、特定员工ID不断更新你的搜索关键词库。注意搜索的“时间范围”Google和GitHub都支持按时间过滤。有时候最新的信息反而不是最有用的。一家公司五年前的旧版员工门户其安全防护可能远比新版弱是更好的测试切入点。善用“快照”与“存档”Google的“网页快照”和Internet Archive的“Wayback Machine”能让你看到已被删除或修改的页面历史版本价值巨大。自动化工具的“误报”自动化工具会产出大量结果其中很多是无效或无关的误报。必须人工进行二次验证和筛选这是一个无法完全自动化的重要步骤。记录一切对你的搜索语法、使用的工具、命令、以及每个重要发现的来源和时间进行详细记录。这不仅是专业习惯在撰写报告或回溯时也至关重要。信息收集是网络安全攻防的基石也是一门永无止境的艺术。Google Hacking和GitHub挖掘只是其中两个高效的工具。掌握它们意味着你拥有了在浩瀚公开信息海洋中精准导航的能力。但请永远记住能力越大责任越大。始终将你的技能用于获得合法授权的安全测试、自我防护和知识学习之中共同维护一个更安全的网络空间。