19
关于爬虫中几个常用库的使用方法总结
source link: https://blog.51cto.com/u_15930659/5989884
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
关于爬虫中几个常用库的使用方法总结
推荐 原创关于爬虫中几个常用库的使用方法总结
- 学了半个多月的爬虫了，用这个案例总结一下各个爬虫库的用法。当然后面还有更重要和更好用的方法，再等后面学到，再做总结了。
- 这个题目的要求很简单，用已学的方法，爬取某知名二手房源的信息。因为涉及到一些敏感的信息，只要求获取只个简单的字段即可。
1.1 爬取某知名网站的相关信息
- 具体如下：
- （1）爬取某网的房源信息，包括“标题，位置，户型，总价，单价”几个信息的收集并保存。
- （2）网址是： https://cs.lianjia.com/ershoufang/
1.2 信息库及类的导入
- 下面分几种方法解决这个答题，所以用到的库有如下几种：
- requests、lxml的xpath对象方法、re正则表达式、BeautifuSoup对象方法、pyquery对象方法、parsel的Selector方法
- 有时候，获取源代码和解析数据，是好几种方法一起来解决，在下面的几个解决方案中，都有提到。
2. 网页分析
- 接下来，就是网页的分析。打开网页如下：
- 再往下拖动，看到该页有30条信息，下面只看到局部的几条信息。其中每一条信息用蓝色方框圈起来，而红色方框圈起来的，是一条广告信息，是无用信息，后面在解析的时候给予剔除。
2.1 伪装问题
- 根据政策法规的要求，我们不能随便用不正当手段爬取绝大多数网站的有用信息。不过动机单纯、行为正常，且没有恶意，出于研究目的，在控制好频率的情况下，爬取一些网站公开内容，是可以的。
- 但是绝大多数网站都有反爬机制，它不管你的动机如何，一旦越限，它就会毫不客气的唯你是问，让你百口莫辩。
- 因此，我们在这里，也了解一下这次这个网站的Robots协议，方法如下：
- 打开https://cs.lianjia.com/robots.txt，得到如下robots内容：
User-agent: Baiduspider Allow: *?utm_source=office* User-agent: * sitemap: https://cs.lianjia.com/sitemap/cs_index.xml Disallow: /rs Disallow: /huxingtu/p Disallow: /user Disallow: /login Disallow: /userinfo Disallow: *?project_name=* Disallow: *?id=* Disallow: *?house_codes=* Disallow: *?sug=* - 以上可以看到，我们今天所要爬取的目录ershoufang是被允许爬取的。
- 再用如下方法：
- 可以看到，这个网站的robots.txt文件是允许爬虫抓取ershoufang里面的数据的。
- 基于以上原因，我们只加一个请求头，是可以了。方法前面写过：右击网页空白处“检查”——>“Network”——>Filter（筛选器）——>Doc（文档）——>刷新网页——>选择Name（名称）下的记录——>再找到右侧最底部，就找到User-Agent字符串头。复制出来 做成字典的模样，定义一个headers即可。
- 打开https://cs.lianjia.com/robots.txt，得到如下robots内容：
2.2 元素选取
- 上图说明，如下：
- 左侧小箭头就是选择器，使用的时候点它一下，然后去网页里面晃动几下，就看到一片区域对应一大段代码。这里，我们看到<ul>标签里，就对应本页所有的房源信息，就是<ur>下的<li>标签，仔细数一下，一共30条记录，对应30条房源，当然，其中第6条是广告，不过在爬虫库解析下，得到的数据是一一对应为30条的。
- 每一条的<div>标签下，都包含我们想要的数据，截图如下：
2.3 分页面分析
- 页面到最底部，有1到100页码，所以想抓取的信息可以有100页300条，本例只取前5页，用for循环实现翻页取信息，在下面代码实现。因为在翻页的过程中，地址栏里出现/pg2/、/pg3/的字样。所以在定义网址的时候，用如下方法：…
def __init__(self, num): self.url = 'https://cs.lianjia.com/ershoufang/pg{}/'.format(num)# 爬取5页的数据 for n in range(1, 6): print('正在爬取第{}页'.format(n)) spider = LianJian_changsha(n)
2.3 爬虫库的选用
- 一般情况下，爬取数据不是太多的时候，用requests库结合一般的方法就能完成，大型数据获取并分析的情况，要用到更高级的方法。所以根据需求选择合适的爬虫库，也应该知道。因为是初学，对于下面的分析不一定准确，欢迎编程经验多的大佬们，批评指正。
2.3.1 保存文本的方法
-
除了即时打印输出到控制台的办法外，保存爬虫数据最基础的自然是文本文件了。
-
方法很简单，就是用操作文件和文件夹的办法，实现保存。涉及到路径的时候，要导入os库，然后有两种书写格式，如下 ：
# 第一种方法，后面需要手动close关闭文件对象 filename = open('file1.txt','w') filename.close()# 第二种方法，后面不需要带close方法，也可以确保文件正常关闭 with open('file2.txt','w') as f2: f2.write(data)
2.3.2 保存二进制的方法
- 上面提到，文本文件的获取过程，首先是获取源代码，再解析筛选得到文本内容，如果想要的数据变量为data的话，可以用text方法得到，如print(data.text)。而要得到图像或者音视频数据的话，就要先得到它们的二进制数据，用content方法，如print(data.content)。
- 后面例子中，会经常遇到，爬虫学习的过程中，有你有我，我们一起作伴，慢慢走在路上，就会不知疲倦。
2.3.3 哪个更简单
- 哪个爬虫的库用起来更简单，也要看获取到的网页格式，像本节提到的例子，用lxml里面的xpath方法比较简单。我说的简单，其实就是容易理解和使用，真正书写代码也可能很繁琐。我们在验证结果的时候，要不时的print一下，以此纠正解析得到的数据是多了还是少了。
- 如果按照书写简洁来作为简单的话，目前学到的bs4和pyquery库就特别简单。很多时候，感觉比正则表达式的方法还要简单。
2.3.4 哪个更效率
- 效率最高的爬虫方法，目前不敢定论，但是感觉requests以后，再用xpath方法是最麻烦的，遇到源代码中的多个ul列表、li列表、span列表等，还有各种空格乱码时，特快灵麻烦。在掌握了好的方法和熟练运用正则表达式之后，xpath能不用就不用，但是本节还是以这个为例讨论，毕竟这个是基础。
- 我感觉，bs4和pyquery效率就蛮高，但是感觉目前掌握的方法中parsel方法更胜一筹。
- 除了上面提到的，还有一个压箱底的东西，那就是CSS选择器，这个东西在几个重要的爬虫库里面经常用到，而且经常一步到位，实在是手术刀式的工具。
2.4 数据保存的问题
-
- 爬虫得到的结果，才是我们想要的。有的不是太重要，可以略加展示或保存。有的结果很重要，这些数据就要用相当可靠的方式保存起来，以供后期的分析和使用。
2.4.1 打印输出
- 这是最简单的展示方法，只是在控制台打印输出一下，看完就消失，对于不是重要的信息，完全够用了。
2.4.2 文本保存
- 爬虫获取的数据，以最简单的文本格式保存，上面已经提到，后面复习爬虫库的使用时，还会再提到 ，在此不再赘述。
2.4.3 csv文件存储
- 我用excel格式保存数据的时候，遇到了不能保存翻页信息的情况，当掌握了csv文件存储方法后，一下子感觉轻松解决了。因为csv文件完全可以用excel表格的形式打开，而且更简洁效率。
2.4.4 MySql存储
- 这个数据库用来存储数据，是比较哪个和哪个的（敏感词&^%#@￥），不光是因为MySql在大型程序中应用，关键是很多爬虫得到的数据足够重要，用MySql保存也足够正式。这为后面的数据分析作了良好的支持。
2.4.5 MongoDB存储
- 这个数据库是非关系型数据库，其内容存储的形式累死JSON对象。这次也学习一下这个数据库的保存方式，这之前要从头学习它的安装、初始化和建表、插入数据的方法。
3. 方法罗列
下面的几种爬虫方法是目前我个人学到的，为了帮助记忆理解，在此加以记叙和总结。其中发现，各种方法很少有单独存在的情况，一是因为一个方法完成不了，另一个原因是，几种方法的组合使用，效率大大提高。
3.1 requests方法
- 这个方法，是后面xpath方法、re正则表达式的前提条件。因为都用requests模块的get请求方法和post请求方法得到整个网页源代码之后，再进行xpath解析和正则匹配的。实际用法，在后面放上案例进行学习。
3.2 lxml的xpath方法
- 按照上面的分析，用代码实现目标要求。全部代码如下：
# -*- coding:utf-8 -*- """ # @Time:2022/12/19 0019 13:53 # @Author：晚秋拾叶 # @File:链家长沙房源.py # @PyCharm之Python # 完成“标题，位置，户型，总价，单价”几个信息的收集并保存 """ import os import csv import requests from lxml import etree class LianJian_changsha(object): def __init__(self, num): self.url = 'https://cs.lianjia.com/ershoufang/pg{}/'.format(num) self.headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.54', } ''' 1. 发起请求并获取数据 ''' def get_data_index(self): # 可以使用urlli库里的方法from urllib.request import Request # 即用urllib中的request模块里的Request类定义解析的网页数据， # 不过需要用read()读取二进制内容，再用decode('utf-8')转为Unicode编码 # 所以不如requests库来得方便 """ （1）用到第一个库requests的get方法，获取总的网页源代码 """ resp = requests.get(self.url, headers=self.headers) resp.encoding = 'utf-8' if resp.status_code == 200: return resp.text else: return None ''' 2. 把得到的网页文本信息进行解析 ''' def parse_data_index(self, resp): # 实例化一个etree的HTML类对象，这也是后面xpath解析的对象 """ （2）用到第二个库lxml里的etree模块，构造一个xpath对象 """ html_xpath = etree.HTML(resp) # 找到包含房源信息的总模块，可以看作为列表形式 """ （3）xpath方式完成解析数据 """ sellListContent = html_xpath.xpath('//ul[@class="sellListContent"]//li') list_context = [] i = 0 for data in sellListContent: title = data.xpath('.//div[@class="title"]/a/text()')[0] position = '，'.join(data.xpath('./div[1]/div[2]//a/text()')).replace(' ', '') houseInfo = data.xpath('.//div[@class="houseInfo"]/text()')[0].replace('|', '，').replace(' ', '') priceInfo = data.xpath('.//div[contains(@class,"totalPrice")]/span/text()')[0] + "万元" unitPrice = data.xpath('.//div[@class="unitPrice"]/span/text()')[0] dict_data = {'标题': title, '位置': position, '户型': houseInfo, '总价': priceInfo, '单价': unitPrice} i += 1 print(f"现在是第{i}条数据") print(dict_data) list_context.append(dict_data) return list_context def write_data(self, resp): # 判断是否已经有这个csv文件，如果有，则不再添加标头，只追加记录 if os.path.exists("LianJia_changsha.csv"): with open("LianJia_changsha.csv", "a", newline='', encoding='utf-8') as f: fields = ['标题', '位置', '户型', '总价', '单价'] writer = csv.DictWriter(f, fieldnames=fields) for data in self.parse_data_index(resp): writer.writerow(data) else: with open("LianJia_changsha.csv", "w", newline='', encoding='utf-8') as f: fields = ['标题', '位置', '户型', '总价', '单价'] writer = csv.DictWriter(f, fieldnames=fields) writer.writeheader() for data in self.parse_data_index(resp): writer.writerow(data) """ 3. 把上面方法整合起来完成业务逻辑""" def run(self): resp = self.get_data_index() # 获取网页信息 self.write_data(resp) if __name__ == '__main__': # 爬取5页的数据 for n in range(1, 6): print('正在爬取第{}页'.format(n)) spider = LianJian_changsha(n) spider.run()- 掌握了合适的方法，加以处理，就得到了想要的数据，其中的带广告的那个li标签，也合理的规避了。上面这个方法用了csv格式保存
3.3 re正则表达式
- 下面是用re正则表达式的方法完成问题解决。还是先用xpath缩小一下源代码的范围，做出<li>标签的列表来。在用re处理字符串的过程中，遇到了检查元素的代码和xpath获取源代码不一样的情况。如图：
- 检查元素的代码：
- 由此可见，想要正则匹配到我们需要的数据，只有得到真正的源代码才能够获取。下面用requests和xpath方法得到li标签列表。
- 上面截图是爬取到的li标签列表，复制出一个li标签到http://www.wetools.com/html-formatter网站，稍微纠正下，再复制到记事本里面，更容易寻找对应的数据。
- 下面把得到的源代码放到记事本中。
- 再把包含一个数据的一大段代码复制到VSCode程序里，加以正则处理。
- 注意想要的数据用(.*?)代替，然后方便用group(n)的方法得到。
- 在保存为字符串形式的时候，需要一些转换字典为字符串的情况，代码中已经作了注释。
- 最后，我把这个用记事本保存成txt文件，整个代码如下：
# -*- coding:utf-8 -*- """ # @Time:2022/12/19 0019 13:53 # @Author：晚秋拾叶 # @File:链家长沙房源.py # @PyCharm之Python # 完成“标题，位置，户型，总价，单价”几个信息的收集并保存 """ import os import re import json import requests from lxml import etree class LianJian_changsha(object): def __init__(self, num): self.url = 'https://cs.lianjia.com/ershoufang/pg{}/'.format(num) self.headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.54', } ''' 1. 发起请求并获取数据 ''' def get_data_index(self): # 可以使用urlli库里的方法from urllib.request import Request # 即用urllib中的request模块里的Request类定义解析的网页数据， # 不过需要用read()读取二进制内容，再用decode('utf-8')转为Unicode编码 # 所以不如requests库来得方便 """ （1）用到第一个库requests的get方法，获取总的网页源代码 """ resp = requests.get(self.url, headers=self.headers) resp.encoding = 'utf-8' if resp.status_code == 200: return resp.text else: return None ''' 2. 把得到的网页文本信息进行解析 ''' def parse_data_index(self, resp): # 进一步筛选想要的源代码内容，缩小范围 """ （2）还是用xpath定位好范围 """ html_xpath = etree.HTML(resp) sellListContent = html_xpath.xpath('//ul[@class="sellListContent"]//li') try: """ （3）re正则方式完成解析数据 """ for data in sellListContent: # 转换为字符串，以便后面进行正则获取 htmlStr = etree.tostring(data,encoding="utf-8").decode() title_pattern = re.compile('<div\sclass="title">.*?data-sl="">(.*?)</a>', re.S) position_pattern = re.compile('class="positionIcon".*?region">(.*?)</a>.*?target="_blank">(.*?)</a>', re.S) houseInfo_pattern = re.compile('class="houseIcon".*?/>(.*?)</div>', re.S) priceInfo_pattern = re.compile('class="totalPrice totalPrice2">.*?class="">(.*?)</span>.*?</i>', re.S) unitPrice_pattern = re.compile('class="unitPrice.*?<span>(.*?)</span>', re.S) title = re.search(title_pattern, htmlStr).group(1) position = re.search(position_pattern, htmlStr) positiongroup = position.group(1) + position.group(2) houseInfo = re.search(houseInfo_pattern, htmlStr).group(1) priceInfo = re.search(priceInfo_pattern, htmlStr).group(1) +"万元" unitPrice = re.search(unitPrice_pattern, htmlStr).group(1) # 注意，下面字典处理的时候，一定要用""而不能用'' yield {"标题": title, "位置": positiongroup, "户型": houseInfo, "总价": priceInfo, "单价": unitPrice} except IndexError: pass def write_data(self, content): with open('链家长沙房源信息.txt', 'a',encoding='utf-8') as f: # 因为获取的数据是字典类型，转换为字符串写入文本文件，而且还不能显示为ascii，否则看不到汉字 f.write(json.dumps(content,ensure_ascii=False)+"\n") """ 3. 把上面方法整合起来完成业务逻辑""" def run(self): resp = self.get_data_index() # 获取网页信息 for data in self.parse_data_index(resp): print(data) self.write_data(data) if __name__ == '__main__': # 爬取5页的数据 for n in range(1, 6): print('正在爬取第{}页'.format(n)) spider = LianJian_changsha(n) spider.run() - 完成后，效果如下：
3.4 BeautifuSoup方法
- 再学习一下bs4的写法。
- 这个库的功能很强大，方法有节点选择器，有方法选择器find_all，再加上强大的CSS选择器。用了更简短的代码，完成了既定目标。完整代码如下：
# -*- coding:utf-8 -*- """ # @Time:2022/12/19 0019 13:53 # @Author：晚秋拾叶 # @File:链家长沙房源bs4.py # @PyCharm之Python # 完成“标题，位置，户型，总价，单价”几个信息的收集并保存 # 这次用excel方法保存 """ import requests import openpyxl from bs4 import BeautifulSoup class LianJian_changsha(object): def __init__(self): self.headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.54', } ''' 1. 发起请求并获取数据 ''' def get_response(self,url): # 可以使用urlli库里的方法from urllib.request import Request # 即用urllib中的request模块里的Request类定义解析的网页数据， # 不过需要用read()读取二进制内容，再用decode('utf-8')转为Unicode编码 # 所以不如requests库 来得方便 """ （1）用到第一个库requests的get方法，获取总的网页源代码 """ resp = requests.get(url, headers=self.headers) resp.encoding = 'utf-8' if resp.status_code == 200: return resp.text else: return None ''' 2. 把得到的网页文本信息进行解析 ''' def parse_data(self): data_list = [] for i in range(1,6): # 因为要分布保存到excel中，而且用的是openpyxl方法，所以把页面地址的更迭放在这里 url = 'https://cs.lianjia.com/ershoufang/pg{}/'.format(i) resp = self.get_response(url) # 进一步筛选想要的源代码内容，缩小范围 """ （2）这个库的功能强大，用select方法和节点选择器，加上CSS选择器，代码简洁好用 """ soup = BeautifulSoup(resp, 'lxml') sellListContent = soup.select("ul li .info.clear") i = 0 # 解析并提取数据 for data_div in sellListContent: # 下面的[0]用法，其实是列表索引，与xpath的位置选择不一样 title= data_div.select("a")[0].text position = data_div.select("div .positionInfo")[0].text houseInfo = data_div.select("div .houseInfo")[0].text priceInfo = data_div.select(".totalPrice.totalPrice2 span")[0].text + "万元" unitPrice = data_div.select(".unitPrice")[0].text data = [title,position,houseInfo,priceInfo,unitPrice] i += 1 print(f"现在是第{i}条") print(data) data_list.append(data) return data_list def save_to_excel(self): datas = self.parse_data() #数据，也就是上面获取到的嵌套列表 print('开始保存...') # 表头 excel_header = ['标题','位置','户型','总价','单价'] # 创建excel表格并写入表头 wb = openpyxl.Workbook() ws = wb.create_sheet(title='链家长沙房源', index=0) wb.remove(wb['Sheet']) # 删除原来的表 ws.append(excel_header) # 写入表头 # 遍历数据 for data in datas: # 将每行数据追加到表格 ws.append(data) # 保存表格 wb.save('链家长沙房源.xlsx') """ 3. 把上面方法整合起来完成业务逻辑""" def run(self): self.parse_data() # 获取网页信息 self.save_to_excel() print("保存完成。") if __name__ == '__main__': spider = LianJian_changsha() spider.run() - 效果如图。
3.5 pyquery方法
- 这次保存数据信息，我用MySQL的方法，以进一步掌握数据库的使用方法。
3.5.1安装MySQL
-
这里登录https://dev.mysql.com/downloads/mysql/，选择Microsoft Windows打开如下页面，点击下面的Download按钮。
-
这是一个免安装的数据库程序，然后把数据库包解压到E盘，如图。
-
其中，my.ini是自己创建的配置文件，保存到数据库当前目录，内容如下：
[client] # 设置mysql客户端默认字符集 default-character-set=utf8 [mysqld] # 设置3306端口 port = 3306 # 设置mysql的安装目录 basedir=E:\mysql8.0 # 设置 mysql数据库的数据的存放目录，MySQL 8+ 不需要以下配置，系统自己生成即可，否则有可能报错 # datadir=E:\mysql8.0\\sqldata # 允许最大连接数 max_connections=20 # 服务端使用的字符集默认为8比特编码的latin1字符集 character-set-server=utf8 # 创建新表时将使用的默认存储引擎 default-storage-engine=INNODB -
接下来我们来启动下 MySQL 数据库：
- 以管理员身份打开 cmd 命令行工具，切换目录：
3.5.1 初始化数据库
~~~
mysqld --initialize --console
~~~
执行完成后，会输出 root 用户的初始默认password，如：
...
2023-01-04T02:35:05.464644Z 5 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: APWCY5ws&hjQ
...
APWCY5ws&hjQ 就是初始password，后续登录需要用到，你也可以在登陆后修改password。
mysqladmin -u用户名 -p旧密 password 新密
我这里没有成功，也没找原因，直接去掉旧密，再执行后，要求输入password的时候，输入完就更新成功了。最后显示OK。
-
安装数据库，下面也是在bin目录下执行。
mysqld install
-
安装结束后启动服务即可， 启动服务命令如下：
net start mysql -
登陆MySQL
当 MySQL 服务已经运行时, CD到bin目录，打开命令提示符, 输入以下格式的命名:
mysql -h 主机名 -u 用户名 -p- -h : 指定客户端所要登录的 MySQL 主机名, 登录本机(localhost 或 127.0.0.1)该参数可以省略;
- -u : 登录的用户名;
- -p : 告诉服务器将会使用一个password来登录, 如果所要登录的用户名password为空, 可以忽略此选项。
-
查看数据库
语法：
show databases; -
创建数据库
语法：
create database 库名;这里创建一个名字为lianjia的库名。
-
创建数据表，下面命令，可以在console窗口Mysql提示符下录入，也可以在idle的sql控制台下录入，都可以。
语法：create table lianjia_cs ( id int auto_increment, title varchar(100) null, position varchar(200) null, houseInfo varchar(200) null, priceInfo varchar(50) null, unitPrice varchar(50) null, primary key(id) )DEFAULT CHARSET=utf8;
3.5.3 数据库与idle的连接操作
- 用VSCode连接MySQL8.0，步骤如下：
（1）点扩展插件，输入MySQL，安装第一个，如图。（2）打开左侧资源管理器，点+号，分别录入host、user、password、port，最后一个回车即可，我这里对应的是localhost、root、root、3306。然后就轻松建立一个localhost连接了。
注意：如果连接不成功，下面有Error提示的话，一般要更新一下password，才能连接。命令如下：
alter user ‘root’@‘localhost’ identified with mysql_native_password by ‘root’; - 用PyCharm连接数据库的方法，相对也很简单。
（1）单击右侧数据库，再点+号，再点MySQL即可建立。（2）在弹出的对话框中，输入相应的参数。
3.5.4 程序全部代码
# -*- coding:utf-8 -*-
"""
# @Time:2022/12/19 0019 13:53
# @Author：晚秋拾叶
# @File:链家长沙房源.py
# @PyCharm之Python
# 完成“标题，位置，户型，总价，单价”几个信息的收集并保存
"""
import requests
import pymysql
from pyquery import PyQuery as pq
class LianJian_changsha(object):
def __init__(self, num):
self.url = 'https://cs.lianjia.com/ershoufang/pg{}/'.format(num)
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.54',
}
# 创建数据库连接
self.db = pymysql.Connect(
host="localhost",
port=3306,
user="root",
password="root",
db="lianjia"
)
# 再创建数据库游标
self.cursor = self.db.cursor()
''' 1. 发起请求并获取数据 '''
def get_data_index(self):
# 可以使用urlli库里的方法from urllib.request import Request
# 即用urllib中的request模块里的Request类定义解析的网页数据，
# 不过需要用read()读取二进制内容，再用decode('utf-8')转为Unicode编码
# 所以不如requests库来得方便
""" （1）用到第一个库requests的get方法，获取总的网页源代码 """
resp = requests.get(self.url, headers=self.headers)
resp.encoding = 'utf-8'
if resp.status_code == 200:
return resp.text
else:
return None
''' 2. 把得到的网页文本信息进行解析 '''
def parse_data_index(self, resp):
# 进一步筛选想要的源代码内容，缩小范围
""" （2）还是用xpath定位好范围 """
doc = pq(resp)
sellListContent = doc(".sellListContent li")
for data in sellListContent.items():
# 下面用了CSS选择器，加上text方法获取文本内容
title = data(".info.clear .title a").text()
position = data(".info.clear .flood").text()
houseInfo = data(".info.clear .houseInfo").text()
priceInfo = data(".info.clear .totalPrice.totalPrice2 span").text() + "万元"
unitPrice = data(".info.clear .unitPrice span").text()
# 定义sql语句，以便下面执行插入操作
sql = "insert into lianjia_cs (title,position,houseInfo,priceInfo,unitPrice) values(%s,%s,%s,%s,%s);"
# 把信息字段写入参数
params = [(title, position, houseInfo, priceInfo, unitPrice)]
# 执行语句
self.cursor.executemany(sql, params)
# 提交数据库
self.db.commit()
""" 3. 把上面方法整合起来完成业务逻辑"""
def run(self):
resp = self.get_data_index() # 获取网页信息
self.parse_data_index(resp)
if __name__ == '__main__':
# 爬取前5页的数据
for n in range(1, 6):
spider = LianJian_changsha(n)
spider.run()
- 结果如图。
3.6 parsel方法
- 这次用parsel方法，把这个任务完成。这个方法，其实很简单，提取到网页源代码后，还是应用了xpath方法。不过这次数据，我再用MongoDB数据库保存。
3.6.1 安装MongoDB
-
安装包下载地址： https://www.mongodb.com/try/download/community
-
step1:打开安装包直接点击Next
-
step2：继续点击Next
-
step3：点击自定义安装
-
step4：选择好安装路径，点击Next
-
step5：点击Next
-
step6：取消可视化界面勾线，直接点击Next安装
3.6.2 初始化MongoDB
-
step1：配置环境变量，找到MongoDB安装路径下的bin目录
-
step2：计算机–右击–属性–高级系统设置–环境变量–系统变量–path–新建，将bin目录复制进去即可
补充：进到data目录里面，新建两个文件夹，一个是db，一个是log
-
step3：打开cmd，输入mongod -dbpath “F:\MongoDB\data\db” -logpath “F:\MongoDB\data\log\mongo.log”
-
step4:重新打开一个cmd窗口，输入mongo来启动MongoDB shell 端
这里遇到一个问题就是，我安装的是高版本的MongoDB，显示mongo命令不存在。
查了一番资料，才明白，高版本已经没有这个命令了。然后根据资料提示，重新下载一个mongosh文件代替。
地址： https://www.mongodb.com/try/download/shell
-
下载解压后，找到bin目录，把这两个文件，复制粘贴到MongoDB下的bin目录。
-
再执行mongosh命令就行了。
-
**step5: 创建一个数据库，再建立一个集合 **
创建\删除数据库use db_lianjia # 如果数据库不存在，则创建数据库，否则切换到指定数据库。 db.dropDatabase() # 删除数据库之前，先进入数据库，之后执行 # 删除当前数据库>use db_lianjia switched to db db_lianjia >db db_lianjia如果你想查看所有数据库，可以使用 show dbs 命令：
> show dbs admin 0.000GB config 0.000GB local 0.000GB可以看到，我们刚创建的数据库 db_lianjia并不在数据库的列表中， 要显示它，我们需要向 db_lianjia 数据库插入一些数据。
增删改查操作
MongoDB中的一张表被称为一个集合
插入数据
# db.集合名.insert({}) 数据格式为json db.demo.insert({name:"坤哥"}) # { "_id" : ObjectId("63465fb77811f81334940270"), "name" : "坤哥" }上面的命令执行完，就自动创建了一个demo表。总结上面的命令如下图：
- 我后面接着连接数据库，进行一个集合的实例，进一步理解上面的操作。
3.6.3 数据库与IDLE的连接操作
- 连接MongoDB时，需要使用PyMongo库里面的MongoClient方法，格式如下：
import pymongo client = pymongo.MongoClient(host='localhost', port=27017) - 上面语法用来创建MongoDB的连接对象。
- （1）PyCharm下安装MongoDB插件。
-
点击右侧的数据库，一步步点击
-
下一步，输入名称：MongoDB，主机：localhost，再点击下方的“下载”，最后完成测试连接。
注意：这里反复下载提示重试，最后发现，需要github账号。
-
终于下载并连接成功了。
-
- （2）再用VSCode连接一下。
-
点扩展，再搜索mongo，如图下载MongoDB for VS Code：
-
再点左侧出现的数据库，然后点CONNECTIONS右侧的+号。
-
出现New connection之后，输入localhost，再输入账号、pwd以及本地数据库的名称。
-
- 提示，账号密码的设置在管理员console命令中，分如下几步完成。
- mongosh # 打开MongoDB;
- use db_lianjia # 创建或打开数据库;
- db.createUser({user: “root”, pwd: “root”, roles: [{role: “root”, db: “admin”}]}) # 修改用户和密码
- 最后也完成VSCode下的MongoDB的连接。
3.6.4 程序全部代码
# -*- coding:utf-8 -*-
"""
# @Time:2022/12/19 0019 13:53
# @Author：晚秋拾叶
# @File:链家长沙房源.py
# @PyCharm之Python
# 完成“标题，位置，户型，总价，单价”几个信息的收集并保存
"""
import requests
import pymongo
from parsel import Selector
class LianJian_changsha(object):
def __init__(self, num):
self.url = 'https://cs.lianjia.com/ershoufang/pg{}/'.format(num)
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.54',
}
# 创建数据库连接
self.client = pymongo.MongoClient(host="localhost", port=27017)
# 再创建一个数据库，下面命令执行的时候，是没有创建，有则连
self.db = self.client["db_lianjia"]
''' 1. 发起请求并获取数据 '''
def get_data_index(self):
# 可以使用urlli库里的方法from urllib.request import Request
# 即用urllib中的request模块里的Request类定义解析的网页数据，
# 不过需要用read()读取二进制内容，再用decode('utf-8')转为Unicode编码
# 所以不如requests库来得方便
""" （1）用到第一个库requests的get方法，获取总的网页源代码 """
resp = requests.get(self.url, headers=self.headers)
resp.encoding = 'utf-8'
if resp.status_code == 200:
return resp.text
else:
return None
''' 2. 把得到的网页文本信息进行解析 '''
def parse_data_index(self, resp):
# 进一步筛选想要的源代码内容，缩小范围
"""
（2）如同前面章节提到的，SelectorList对象再用CSS选择器选择的属性，
先是被转成了xpath，所以这里还是用xpath定位匹配文本
"""
# 创建一个Selector对象
st = Selector(resp)
# 创建一个SelectorList对象
sellListContent = st.css(".sellListContent li")
i = 0
for data in sellListContent:
title = data.xpath('.//div[@class="title"]/a/text()').get()
position = "，".join(data.xpath('./div[1]/div[2]//a/text()').getall())
houseInfo = data.xpath('.//div[@class="houseInfo"]/text()').get()
priceInfo = data.xpath('.//div[contains(@class,"totalPrice")]/span/text()').get() + "万元"
unitPrice = data.xpath('.//div[@class="unitPrice"]/span/text()').get()
yield {'标题': title, '位置': position, '户型': houseInfo, '总价': priceInfo, '单价': unitPrice}
""" 3. 把上面方法整合起来完成业务逻辑"""
def run(self):
resp = self.get_data_index() # 获取网页信息
parse_data = self.parse_data_index(resp)
for item in parse_data:
print(item)
self.db.lianjia_cs.insert_one(item)
if __name__ == '__main__':
# 爬取前5页的数据
for n in range(1, 6):
spider = LianJian_changsha(n)
spider.run()
- 用db命令也能查看数据已经写入。
4. 面向对象的写法总结
- 面向对象的编程，能够让你的思路条理化。上面几种爬虫库完成既定目标，都是基于这个思想。
- 首先，都是建立一个类，包含要抓取的网页的地址，伪装和各种数据库的连接等等。
- 再写几个重要的方法。分别是获取网页数据、用各种爬虫库里的方法对网页数据进行解析、写入各种形式的保存方式的类方法、整合运行的类方法、调用类的主程序。。。
4.1 获取网页数据
- 这部分代码，所有的爬虫库都用到requests里的get方法，不过，遇到大型数据的爬取，就有点力不从心了。好在后面还会学到更强大的处理方法。
- 这里不管是得到的是什么数据，都要保证返回不为空，否则后面的工作也就成空了。
4.2 网页数据解析提取
- 这个题目中的要求，基本没有字典形式的数据，也没有抓取图像和音视频的情况，如果有的话，自然用xpath和bs4更方便一些。
4.3 遍历源代码数据列表
- 这个题目中，网页数据解析的时候，只是缩小范围，再得到列表，用遍历的for语句，结合各种方法得到一条一条的数据了。至于什么时候用return返回数据，还是用yield生成器，则要看保存的形式和地方了。
4.4 数据保存的问题解决
- 保存的方式，从简单的控制台打印，到文本文档，csv格式，再到稍复杂的csv和excel格式，一直到两种数据库MySQL和MongoDB的形式，一遍一遍改写和测试，加上我这新手不熟悉不断的找寻各种问题解决的资料信息，一共花费了近4天的时间，终于完成这部分知识的笔记。
4.5 业务逻辑的实现
- 再总结一个问题，就是业务逻辑的实现。主要是在run方法里面完成，翻页的效果，除了bs4这个方法结果保存为excel表格要处理翻页，其它的都在main主函数里面for循环完成。
- bs4这段中，为了追加成功，把这个功能写到了解析的类方法parse_data()里面，然后少了写的方法write_data()了。
- 上面写得太多，不总结了。总结一句，就是学习的过程，如柳暗花明，如众里寻他，如漫漫轻云，又如南朝四百八十寺，更如春风又绿江南岸。
- 赞
- 收藏
- 评论
- 分享
- 举报
</div
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK