上海 网站制作公司,wordpress自定义公共模板,小程序建站网站,58网站开发要多少钱1. 介绍
在当前高校专业信息繁多的情况下#xff0c;选择适合自己的专业成为了许多学生面临的挑战。为了帮助学生更好地了解各高校专业情况#xff0c;我们开发了一个Python爬虫程序#xff0c;用于爬取高校专业信息并保存到Excel文件中。本文将详细介绍该爬虫的实现过程以…1. 介绍
在当前高校专业信息繁多的情况下选择适合自己的专业成为了许多学生面临的挑战。为了帮助学生更好地了解各高校专业情况我们开发了一个Python爬虫程序用于爬取高校专业信息并保存到Excel文件中。本文将详细介绍该爬虫的实现过程以及如何使用它获取所需信息。
2. 实现过程
2.1. 导入必要模块
import os
import time
from bs4 import BeautifulSoup
import re
import bag
import random
from tqdm import tqdm2.2. 主要函数 major_spider()
def major_spider():url rhttps://college.gaokao.com/spelist/p{}/name re.compile(rstrong.*?href(.*?).*?(.*?)/a/strong)li re.compile(rli.*?(.*?)/li)result []for num in tqdm(range(82)):resp session.get(url.format(num1))time.sleep(random.randint(0, 2))resp.encoding gb2312resp.close()html BeautifulSoup(resp.text, html.parser)soup html.findAll(div, class_scores_List)for i in BeautifulSoup(str(soup), html.parser).findAll(dl):url_name re.findall(name, str(i))ls_tags re.findall(li, str(i))result.append([url_name[0][1], ls_tags[0], ls_tags[1], ls_tags[2], ls_tags[3], ls_tags[4], ls_tags[5], url_name[0][0]])bag.Bag.save_excel(result, ./高校专业.xlsx)2.3. 文章总结和分享
通过该爬虫程序我们可以轻松获取高校专业信息为选择适合自己的专业提供了便利。在使用过程中我们可能会遇到一些问题但通过不断优化和调整可以更好地提高爬取效率和数据准确性。下方提供了爬好的高校专业需要自行拿走祝你能找到适合自己的专业。
高校专业.xlsx
3. 结语
通过本文介绍的Python爬虫程序我们可以方便地获取高校专业信息为学生的职业规划提供更多参考。希望本文对您有所帮助也欢迎您分享您的使用经验和优化建议让更多人受益。
最后如果你觉得本教程对你有所帮助不妨点赞并关注我的CSDN账号。我会持续为大家带来更多有趣且实用的教程和资源。谢谢大家的支持
