今天给大家分享一个小网站的数据采集,并写到excel里面!
分析网站
目标网站是“小咪购”,这里有天猫所有的含有购物券的商品信息,我们今天就来抓它吧!
随便找一段文字,然后点击右键查看网页源代码,看看是否存在该文字,如果存在,那么这个网页就是静态网站了!很幸运,这个网站居然是静态的。
那就简单了,不需要去分析ajax加载数据或者找json包了,直接获取网页源代码==>>匹配相关内容==>>保存数据即可!
工具和库
Windows+python3.6
import random
import time
import requests
from lxml import etree
import xlwt
用这几个库就可以搞定了!注意xlwt和xlrd这2个库都是操作excel的,一个是保存数据,一个是读取数据,不要搞混了。
开始写代码
首先写一个函数,将所有的爬虫工作写到函数里,如下图
这个网站需要写上headers,不写是抓不到数据的!新建一个列表,将爬到的相关数据写入列表,它的形式大概是这样的:【【产品信息A1,2,3……】,【产品信息B1,2,3……】……】,这么写列表是因为我们后要将他们写如excel表格,那么列表中的每一个元素(还是列表形式)都是一行数据,方便写入!
注意第33行,列表构成的时候,用+连接会将所有列表中的元素放入一个列表,比如:【1,2,3】+【4,5】=【1,2,3,4,5】,而用append()函数则会将后面的内容作为一个元素加入列表中,比如:[1,2,3].append([4,5])=[1,2,3,[4,5]]
下来就是写入excel了,首先是新建excel表格,并写入行数据
wb = xlwt.Workbook(encoding='utf-8')
ws = wb.add_sheet('优惠券')
path = 'E://python//优惠券.xls' head = ['序号','商品类型','商品名称','优惠券','券后价','在售价','销量','推荐理由','商品链接'] for i in range(9):
ws.write(0,i,head[i])
后面的数据,依次按格式写入并后用wb.save(路径)的方式保存即可!完整代码及效果如下
import random import time import requests from lxml import etree import xlwt def main(line = 1): headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:60.0) Gecko/20100101 Firefox/60.0'}
url = 'http://www.hlxns.com' html = requests.get(url, headers=headers)
html.encoding = 'utf-8' page = etree.HTML(html.text).xpath('//a[@class="item"]/text()')[-1] for i in range(int(line/100)+1, int(page) + 1):
k = 1 lis = []
print('【开始下载】第%d页数据'%i)
htm = requests.get(url + '/index.php?r=l&page={}'.format(str(i)), headers=headers)
htm.encoding = 'utf-8' data = etree.HTML(htm.text)
url_sps = data.xpath('//div[@class="title"]/a/@href') for url_sp in url_sps: time.sleep(random.random()*2)
print(' 【正在下载】第%03d页第%03d条商品数据'%(i,k),end='')
k += 1 html_sp = requests.get(url + url_sp, headers=headers)
html_sp.encoding = 'utf-8' info = etree.HTML(html_sp.text)
title = info.xpath('//span[@class="title"]/text()') summary = [x.replace('推荐理由:','') for x in info.xpath('//span[@class="theme-color-3"]/text()')] category = info.xpath('//div[@class="nav-wrap"]/div/a[3]/text()') now_price = info.xpath('//span[@class="now-price"]/b[2]/i/text()') old_price = info.xpath('//span[@class="org-price"]/i/text()') nums = info.xpath('//div[@class="text-wrap"]/span[2]/i/text()') coupon = info.xpath('//div[@class="buy-coupon theme-color-8"]/span/b/text()') sp_url = info.xpath('//a[@class="theme-bg-color-8"]/@href') lis.append(category+title+coupon+now_price+old_price+nums+summary+sp_url)
print('................................【下载完成】')
print('######第%d页数据 【下载完成】'%i) for ii in range(len(lis)):
lis[ii].insert(0, line) for j in range(9): ws.write(line, j, lis[ii][j])
line += 1 print('>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>【写入本页数据完成】<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<')
wb.save(path) if __name__ == '__main__':
wb = xlwt.Workbook(encoding='utf-8')
ws = wb.add_sheet('优惠券')
path = 'E://python//优惠券.xls' head = ['序号','商品类型','商品名称','优惠券','券后价','在售价','销量','推荐理由','商品链接'] for i in range(9):
ws.write(0,i,head[i])
main()
-
1
-
2
-
3
-
4
-
5
-
6
-
7
-
8
-
9
-
10
-
11
-
12
-
13
-
14
-
15
-
16
-
17
-
18
-
19
-
20
-
21
-
22
-
23
-
24
-
25
-
26
-
27
-
28
-
29
-
30
-
31
-
32
-
33
-
34
-
35
-
36
-
37
-
38
-
39
-
40
-
41
-
42
-
43
-
44
-
45
-
46
-
47
-
48
-
49
-
50
-
51
-
52
-
53
-
54
-
55
由于网站更新的很快(官方说是10分钟。。。),所以也没有抓取那么多,所有的页面有大约600多页,一页100条信息,也就是说一共有6万多条商品信息,如果不用多线程的话会很慢!
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责,本站只提供参考并不构成任何投资及应用建议。本站是一个个人学习交流的平台,网站上部分文章为转载,并不用于任何商业目的,我们已经尽可能的对作者和来源进行了通告,但是能力有限或疏忽,造成漏登,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。