# 发送请求，获取网页源码 def get_html_str(url):     # 请求头模拟浏览器（注意这里一定添加自己已经登录的cookie才可以）     headers = {         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36',         'cookie': ''     }       # 添加代理IP，此处是我们刚拿到的静态代理ip     proxies = "";     # proxies = {}     # 添加请求头和代理IP发送请求     response = requests.get(url, headers=headers, proxies=proxies)     # 获取网页源码     html_str = response.text     # 返回网页源码     return html_str 

接着我们定义 get_data 函数，来解析网页中的元素，找到目标文本：首先接收网页源码、页码和数据列表作为参数。然后使用lxml.etree解析网页源码，提取商品信息，包括标题、价格、商品链接和图片链接。最后将提取的数据添加到数据列表中。

# 提取数据写入列表 def get_data(html_str, page, data_list):     # 将html字符串转换为etree对象方便后面使用xpath进行解析     html_data = etree.HTML(html_str)     # 利用xpath取到所有的li标签     li_list = html_data.xpath('//div[@dd_name="普通商品区域"]/ul/li')     # 遍历li_list列表取到某一个商品的对象标签     for li in li_list:         # 标题         title = li.xpath('.//a[@class="pic"]/@title')         title = ''.join(title)         # 商品链接         goods_url = 'https:' + li.xpath('.//a[@class="pic"]/@href')[0]         # 价格         price = li.xpath('.//p[@class="price"]/span[@class="price_n"]/text()')[0]         print(price)         # 图片链接         img_url = 'https:' + li.xpath('.//a[@class="pic"]/img/@src')[0]           print({'页码': page, '标题': title, '价格': price, '商品链接': goods_url,                '图片链接': img_url})         data_list.append(             {'页码': page, '标题': title, '价格': price, '商品链接': goods_url,              '图片链接': img_url}) 

接下来定义 to_excel 函数，将获取到的结果保存为excel文件：首先将数据列表转换为pandas的DataFrame对象。然后删除DataFrame中的重复数据。最后将DataFrame保存为Excel文件。

# 写入Excel def to_excel(data_list):     df = pd.DataFrame(data_list)     df.drop_duplicates()  # 删除重复数据     df.to_excel('当当采集数据集.xlsx') 

最后定义一个main函数方便调节参数、控制流程：首先设置爬取的关键词和页数。然后初始化一个空的数据列表。之后循环遍历每一页，调用get_html_str和get_data函数获取数据。最后调用to_excel函数将数据写入Excel文件。

def main():     # 1. 设置爬取的关键词和页数     keyword = '华为手机'     page_num = 1  # 爬取的页数     data_list = []  # 空列表用于存储数据     for page in range(1, page_num + 1):         url = f'https://search.dangdang.com/?key={keyword}&act=input&page_index={page}'         print(url)         # 2. 获取指定页的网页源码         html_str = get_html_str(url)         # 3. 提取数据         get_data(html_str, page, data_list)         time.sleep(1)     # 4. 写入Excel     to_excel(data_list) 

数据展示

以下是我们采集到的华为手机数据

推荐

值得注意的是Proxy302与302.AI是同一个开发团队，302.AI是一个汇集全球顶级品牌的AI超市，按需付费，无月费，全面开放使用各种类型AI。大家有需要可以自行体验！

总结

通过上面的实战，我们可以看到代理服务可以大大提高爬虫的匿名性和效率。Proxy302的代理可以满足这两点需求。

对开发者而言，Proxy302代理以其简单易用的特性，大幅降低了技术门槛。 开发者可以快速上手，无需深入了解代理服务的底层技术细节，即可实现高效的数据抓取。这不仅加快了开发进程，也使得开发者能够将更多精力投入到数据分析和业务逻辑的构建上。

Proxy302以其多维度的优势，为电商平台爬虫的实现提供了强有力的支持。无论是技术实现的便捷性，还是成本控制的灵活性，或是数据质量的高效性，以及整体操作的安全性，亮数据代理都是企业和个人在数据采集领域的理想选择。随着技术的不断进步和市场需求的日益增长，我们可以预见，代理服务将在电商数据采集领域扮演越来越重要的角色。