利用Python来配合Google来收集信息

大家都知道,在进行渗透测试最重要的一个环节就是信息收集。说到信息收集怎么能不让能联想到谷歌以及谷歌语法呢?如果是人工的搜索并且提取相关信息无疑是一个工作量很大的一个事情。并且也是相当浪费时间的一个事情。那么我们如何快速地去除一些重复性工作呢?通过代码语言无疑是我们一个很好的选择,接下来我将介绍使用Python3 + Selenium + pymysql + Google来完成这样一个重复性任务。下面我们将以提取站点域名以及URL为例。

首先我先介绍一下Selenium库以及pymysql是什么?Python3 以及Google我就不赘述了。简单地说明一下,selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。那么我们可以利用该库去操作WEB浏览器。pymysql 是python3当中操控数据库的一个组件。

下面我们来分析,我们需要利用Selenium来自动运行WEB浏览器。我们需要在浏览器上做什么样的操作呢?输入谷歌url,在谷歌搜索栏输入谷歌语法,然后提取我们需要的内容。对不对?好的,那么我们脑子里面已经有了一个初步的概念。接下来,我们需要做的是告诉Selenium我们的想法,并且它需要做的事情。接下来,我们来看下面的代码:

#提取数据class driver_1(object): def __init__(self): self.driver = webdriver.Chrome(‘D:chromedriver_win32chromedriver.exe’) #访问谷歌,搜索信息 def logload_Chrome(self,search): self.driver.get(‘https://www.google.com/’) #定位搜索栏位置 Search = self.driver.find_element_by_name(‘q’) self.driver.implicitly_wait(30) Search.send_keys(search) Search.send_keys(Keys.ENTER) #提取站点信息 def Search_site(self,site,num): dict_name_url = {} now_site = ‘site:’ + ”’ + site + ”’ self.logload_Chrome(now_site) #提取url和name for a in range(0,num): if a > 0 and a a[href]’) i = 0 while i a[href]’) i = 0 while i < len(Result_name): dict_name_url[str(Result_name[i].text)] = str(Result_url[i].get_attribute('href')) i += 1 return dict_name_url

上述代码的作用是:登录谷歌并且输入搜索内容,并且通过循环来提取Google搜索出来的内容。

当我们顺利地提取出内容的时候就可以将内容放入数据库。这个时候,我们需要利用到pymysql库。通过它我们可以操控数据库。详细情况请看下面代码:

#保存数据信息class Save_to_DB(object): #链接出入数据 def connect(self,i,key,value): conn = pymysql.connect( host = ‘localhost’, user = ‘root’, password = ‘Password@2020’, database = ‘suda’ ) #创建游标对象 cursor = conn.cursor() try: cursor.execute(“insert into information_site_suda values(%s,’%s’,’%s’);” %(int(i),key,value)) conn.commit() conn.close() except: conn.ping() cursor = conn.cursor() cursor.execute(“insert into information_site values(%s,’%s’,’%s’);” % (int(i), key, value)) conn.commit() conn.close()

上述代码的作用是将查询出来的数据存放入数据库当中。

既然功能模块已经实现,接下来就是调用了。详细代码可以查看附件(注意:中的一些部分需要修改才能运行,不如,MYSQL数据库名等等)。该文章或许一些人看不懂。没有关系,文章当中的模块可以自己学习并不难。主要是希望各位了解到尽量不要去做重复性的劳动。学会利用工具。我一直认为代码功底是区分脚本小子和大牛的分水线。请各位一起加油!!!

郑重声明:本文内容及图片均整理自互联网,不代表本站立场,版权归原作者所有,如有侵权请联系管理员(admin#wlmqw.com)删除。
用户投稿
上一篇 2022年6月13日 06:10
下一篇 2022年6月13日 06:10

相关推荐

  • 破案了!李铁被带走细节曝光,始作俑者是武汉卓尔

    前几天,前国家队主帅李铁突然被带走的事情引发了球迷们的热议,针对这个事情,外界的猜测有很多个版本,而这其中媒体人冉雄飞的说法可能是最为权威的。现在他针对这个事情继续进行爆料,透露了…

    2022年11月27日
  • 短视频策划内容的3个要点(短视频策划内容怎么做)

    短视频在制作时,内容框架非常重要。如果直奔主题,然后结束,聚卓告诉你,这样的短视频已经过时了。现在的短视频需要框架的,但不是任何框架,它需要一种易于理解和消化的框架。而且,现在大多…

    2022年11月27日
  • 计算机网络技术论文(计算机网络技术论文七千字)

    今天小编给各位分享计算机网络技术论文的知识,其中也会对计算机网络技术论文七千字进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧! 计算机网络方面的论文3000字…

    2022年11月26日
  • 卿卿日常暗杀嫡长主的凶手是谁 幕后凶手有什么目的解析

    《卿卿日常》正在热播中,该剧唯一一对观众不看好的情侣,就是嫡长主和郝葭,那么暗杀嫡长主的凶手是谁?凶手有什么目的?下面一起来了解下吧! 卿卿日常暗杀嫡长主的凶手是谁 平时嫡长主在朝…

    2022年11月25日
  • 小红书平台的一些机制及玩法详解(小红书玩法有哪些)

    关于小红书 一:小红书平台的一些机制 1. 笔记内容的CES评分机制 2. 笔记流量入口与长尾效应 二:小红书优质笔记的特点(分维度、类型分析) 1.笔记的本身架构组成 维度 2.…

    2022年11月25日
  • 什么是推广cpa一篇文章带你看懂CPA推广渠道

    CPA渠道 CPA指的是按照指定的行为结算,可以是搜索,可以是注册,可以是激活,可以是搜索下载激活,可以是绑卡,实名认证,可以是付费,可以是浏览等等。甲乙双方可以根据自己的情况来定…

    2022年11月25日
  • 博客营销的3大优势解析(博客营销怎么做)

    不知不觉已经写了24篇文章,加上这篇是第25篇了,都是自己这几年来用过的营销方法,如果遇到有些不懂的,我会咨询我的朋友和同事帮忙,尽量让每一篇有价值,哪怕是对大家有一点点帮助也行,…

    2022年11月25日
  • 什么是内容营销策略如何策划一套成功的内容营销策略

    很多时候,营销人员会在创作营销内容时感到沮丧,这也是很多企业至今没用好数字化营销工具的重要原因之一。 举个例子,您可能会花上数小时期待制作一些令人惊叹的东西,实际却是得到很少的受众…

    2022年11月25日
  • 直播带货详细脚本(直播文案策划怎么写)

    短视频运营策划方案怎么写?涉及哪几个方面? 我在网上看到好多千篇一律的文章,关于【短视频运营策划方案】这一块,基本都是在讲账号的内容本身。 你内容做得再好,却不掌握算法的规律,能有…

    2022年11月25日
  • 闲鱼上怎么卖东西快?闲鱼赚钱必知技巧(怎么在闲鱼里面卖东西)

    自从闲鱼这个平台出现以后,随着这些年的发展,闲鱼也成为了很多人开店赚钱的重要途径。一些新人也想在闲鱼上试试水,看看能不能赚到钱。如今闲鱼上既可以卖二手闲置物品,也可以卖一些新品,那…

    2022年11月25日

联系我们

联系邮箱:admin#wlmqw.com
工作时间:周一至周五,10:30-18:30,节假日休息