这几天学习了 python 爬虫的入门知识,也遇到很多坑,开个贴记录一下
基本原理
Python 爬虫基本要具备以下功能:(参考此回答)
- 向服务器发送请求,服务器响应你的请求。(你可能需要了解:网页的基本知识)
- 从抓取到的网页中提取出需要的数据。(你可能需要了解:正则表达式、Beautifulsoup)
- 保存数据并继续爬取下一个网站。
当然,有以上功能还是不够的,你还需要与网站反爬策略斗智斗勇:(参考此回答)
- 构造合理的HTTP请求头
- 设置cookie
- 正常的时间访问路径
- 注意隐含输入字段值
- 避开蜜罐
- 使用远程服务器来避免IP封锁
当然以上我还不怎么会。
项目实践
可以通过以下2个项目练手
- 豆瓣电影TOP250
这个项目比较容易,代码复制过来,大概理解代码的意思,然后跑的过程也比较顺利。 - 爬取拉勾网页面1 页面2 页面3
这个项目就比较难了,我也遇到比较多的坑,好在大都解决了。
话不多说,我们开始吧
爬取拉勾网实战
借用一下@ _知几 的图,按 F12 查看页面源码,在 NETWORK 标签中可以分析网站的请求响应过程,这里看到 NETWORK 标签下 TYPE XHR 里有 companyAjax.json 和 positionAjax.json (开始我死活找不到positionAjax.json,后来发现是我没选工作地点),我们所需求的数据可以从中提取出来。
以下代码是我在 _知己 的代码基础上修改得到的
修改了以下几处:
- 由原来的 python 2 改为 python 3
- 导入 fake_useragent 模块,可以随机伪造请求头(使用前需 pip install fake-useragent)
- 读取 companyAjax.json 而不是原来的 positionAjax.json
几点说明:
- ua.random 用于生成随机请求头
- get_json 函数中的 my_headers、 cookies、 content 等,都可以在浏览器 F12 控制台中找到
- 目前爬取了几页后就被发现,显示 {‘success’: False, ‘msg’: ‘您操作太频繁,请稍后再访问’, ‘clientIp’: ‘202.* * * * * *’},暂时还没有解决办法。
#!/usr/bin/env python # encoding=utf-8 import json import requests import xlwt import time from lxml import etree import random from fake_useragent import UserAgent import sys #获取存储职位信息的json对象,遍历获得公司名、福利待遇、工作地点、学历要求、工作类型、发布时间、职位名称、薪资、工作年限 def get_json(url,datas): ua = UserAgent() my_headers = { 'User-Agent': ua.random , 'Accept': 'application/json, text/javascript, */*; q=0.01', 'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.6,ja;q=0.4,en;q=0.2', 'Host': 'www.lagou.com', 'Origin': 'https://www.lagou.com', 'Referer': 'https://www.lagou.com/zhaopin/?filterOption=', } cookies = { 'Cookie': 'user_trace_token=20170824135842-485287de-8891-11e7-a544-525400f775ce; LGUID=20170824135842-48528e05-8891-11e7-a544-525400f775ce; JSESSIONID=ABAAABAAADEAAFI772FD1B9AABBF0C5553E874B0F860350; _putrc=B95D7C5E94F53DA8; login=true; unick=%E9%83%AD%E5%B2%A9; showExpriedIndex=1; showExpriedCompanyHome=1; showExpriedMyPublish=1; hasDeliver=3; PRE_UTM=; PRE_HOST=; PRE_SITE=; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2F; _gat=1; TG-TRACK-CODE=index_search; SEARCH_ID=f0acbb8b2145433cb8fe7086f23be622; index_location_city=%E5%8C%97%E4%BA%AC; _gid=GA1.2.397092414.1504747009; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1504756944,1504761486,1504783443,1504839029; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1504839719; _ga=GA1.2.1499897355.1503554319; LGSID=20170908105032-7b45520c-9440-11e7-8aae-525400f775ce; LGRID=20170908110159-14c6e1a8-9442-11e7-8ab1-525400f775ce' } time.sleep(20 + random.randint(0,20)) content = requests.post(url=url,cookies=cookies,headers=my_headers,data=datas) # content.encoding = 'utf-8' result = content.json() print(result) info = result['content']['positionResult']['result'] # print info info_list = [] for job in info: information = [] information.append(job['positionId']) #岗位对应ID information.append(job['companyFullName']) #公司全名 information.append(job['companyLabelList']) #福利待遇 information.append(job['district']) #工作地点 information.append(job['education']) #学历要求 information.append(job['firstType']) #工作类型 information.append(job['formatCreateTime']) #发布时间 information.append(job['positionName']) #职位名称 information.append(job['salary']) #薪资 information.append(job['workYear']) #工作年限 info_list.append(information) #将列表对象进行json格式的编码转换,其中indent参数设置缩进值为2 print(json.dumps(info_list,ensure_ascii=False,indent=2)) print(info_list) return info_list def main(): page = int(input('输入抓取页数:')) # kd = raw_input('请输入你要抓取的职位关键字:') # city = raw_input('请输入你要抓取的城市:') info_result = [] title = ['岗位id','公司全名','福利待遇','工作地点','学历要求','工作类型','发布时间','职位名称','薪资','工作年限'] info_result.append(title) for x in range(1,page+1): url = 'https://www.lagou.com/jobs/companyAjax.json?px=new&needAddtionalResult=false' datas = { 'first': True, 'pn': x, 'kd': '', #'city': '上海' } info = get_json(url,datas) info_result = info_result+info #创建workbook,即excel workbook = xlwt.Workbook(encoding='utf-8') #创建表,第二参数用于确认同一个cell单元是否可以重设值 worksheet = workbook.add_sheet('lagouzp',cell_overwrite_ok=True) for i, row in enumerate(info_result): # print row for j,col in enumerate(row): # print col worksheet.write(i,j,col) workbook.save('C:\\Users\\jared\\Desktop\\lagouzp.xls') if __name__ == '__main__': main()