软科中国大学排名爬虫+数据可视化_2023中国软科大学排名爬虫-天下标王

软科中国大学排名爬虫+数据可视化

最新推荐文章于 2024-11-24 01:36:41 发布
我写的代码全是bug 最新推荐文章于 2024-11-24 01:36:41 发布
阅读量1.3k 爬虫 数据可视化 文章标签： 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73744583/article/details/140859211
爬虫 同时被 2 个专栏收录
3 篇文章 2 订阅
数据可视化
3 篇文章 0 订阅

这一期是关于软科中国大学排名的爬虫分析

目标网址：https://www.shanghairanking.cn/rankings/bcur/2024

每页30所学校信息，共20页

点击翻页，你发现网址没有发生变化，说明该页面信息应该是利用js实现动态加载数据的方式展示的，所以我们无法通过 get 传参的方式来切换网页进行爬取。

接下来，按 F12 或者右键选择审查元素，搜索一下清华大学查看网页结构：

这里我们可以看到信息都在一个 payload.js 的文件里，继续查看可以发现这里有590所学校的所有信息，说明网页显示的内容是通过 javascript 解析这个文件动态加载进去的。

那我们只需要解析这个文件就好了，找到各个变量对应的值。

最终爬取到的数据：

完整代码评论区获取

我写的代码全是bug
关注 7
收藏
觉得还不错? 一键收藏
  • 24
    评论
  • 分享
  • 【python实战】爬虫+数据可视化帮表弟选大学，直呼牛X
    • 公号：一条coding
    06-08 1万+
    你觉得牛不牛？
    【Python实战】爬虫教程千千万，一到实战全完蛋？今天手把手教你一键采集某网站图书信息数据啦~排名第一的竟是...（爬虫+数据可视化）
    xy258009的博客
    02-28 2980
    ​一本本书，是一扇扇窗，为追求知识的人打开认知世界的窗口 一本本书，是一双双翅膀，让追求理想的人张开翅膀翱翔好啦！ 今天的文章内容写到这里就结束了哈，想学习的可以找我啦~
    中国大学排名爬虫
    程序不爱猿
    01-16 575
    最近一直想学网页爬虫，相信很多人跟我一样选择了北京理工大学的教程，个人感觉老师讲的还不错，毕竟每个视频的时间不过6分钟左右吧。在单元6中，老师详解了实例《中国大学排名爬虫》，我按照老师的代码，执行时出现typeerror，现将修改后的代码附上： import requests from bs4 import BeautifulSoup import bs4 def
    【爬虫】爬取大学排名信息
    Jack
    02-25 3706
    【题目】用urllib.request和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020 ）的（一个页面的）数据，屏幕打印爬取的大学排名信息。 打印示例： 排名 学校名称 省市 学校类型 总分 1 清华大学 北京 综合 852.5 2……
    python 爬取软科大学排行网站全部排行数据
    最新发布
    weixin_66397563的博客
    11-24 602
    中国大学排名,中国两岸四地排名,全球体育类院系大学排行,世界大学学术排名，中国最好学科排名,中国大学专业排名,世界一流学科排名(每个专业学科排行都有)获取中国大学排名,中国两岸四地排名,全球体育类院系大学排行,世界大学学术排名。注意: 本文以学习技术为主,不可以用于非法行为, 如有侵权请联系删除。获取中国最好学科排名,中国大学专业排名,世界一流学科排名,(方法跟实际代码有变动)
    爬取软科中国最好大学排名
    yolov4的博客
    04-21 1180
    这个例子是用request+bs+re来获取2016年的软科最好的大学排行榜 需要爬取的网页：http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html。 爬取的内容： 1、导入库 # -*- coding=utf-8 -*- import requests from bs4 import BeautifulSoup import bs4 impor...
    爬取软科-中国大学排行榜
    py嘎嘎的博客
    11-03 779
    爬取软科中国大学排行榜 要求最后得到的文本爬取的格式如下 import requests r=requests.get('http://www.shanghairanking.cn/rankings/bcur/2020') r.status_code r.encoding=r.apparent_encoding r.text ##输出展示文本 school=r.text from bs4 import BeautifulSoup soup=BeautifulSoup(school,'html
    软科大学排名爬虫
    10-28
    该爬虫用于爬取最好大学网（即软科）上的中国大学排名并存储到excel表格中
    Python爬虫：爬取2023中国软科大学排行榜
    gitblog_09809的博客
    10-17 794
    Python爬虫：爬取2023中国软科大学排行榜 【下载地址】Python爬虫爬取2023中国软科大学排行榜 本项目是一个Python爬虫课程设计，旨在通过编写Python脚本，自动爬取2023年中国软科大学排行榜的数据。通过这个项目，你将学习到如何使用Python进行网络数据抓取，并将其应用于实际的课程设计中 ...
    Python 抓取软科中国大学排名首页数据
    gezongbo的博客
    11-03 2538
    1. 利用requests、BeautifulSoup、xlwings库抓取软科中国大学排名首页数据 （1）软科中国大学排名网址如下。 https://www.shanghairanking.cn/rankings/bcur/2021 （2）调用requests模块中get方法，get方法包括headers参数，访问上述网址，获取Response 对象。 （3）利用BeautifulSoup类解析。 （4）利用find_all等方法查找tr、td等标签对象。 （5）将找到的相应标签内容依次添加到列表中。
    Python爬虫，爬取2020年软科中国大学排名并进行数据清洗与可视化输出
    drbingibng的博客
    01-14 3783
    使用python对【软科-高等教育评价领先品牌 https://www.shanghairanking.cn/rankings/bcur/2020】进行爬取，然后存到sql数据库中（也有excel的代码），并且进行分析，获得每个省份的大学的种类的分布图。
    软科数据—2021中国大学排名分析.zip
    10-07
    数据源：软科数据—2021中国大学排名 问题表述 用户画象：待填报志愿的高考生 用户任务：了解大学信息以进行志愿填报 用户痛点（需求）：不了解大学的排名及各指标的得分，不了解同类型院校的排名，不清楚各省市大学...
    爬取中国大学排行榜.zip
    04-12
    python爬取中国大学排行榜，并对前十做可视化柱状图分析
    基于中国大学软科排名网站的数据爬取及可视化分析
    02-13
    基于中国大学软科排名网站的数据爬取及可视化分析 要求： （1）使用selenium和PhantomJS模拟登录软科学网，保存网页快照paiming.png文件； （2）爬取网站排名前100的大学信息，字段包括：中文名、省市、类型、排名、...
    基于python的网络爬虫爬取天气数据及可视化分析python大作业，课程设计报告
    06-13
    基于python的网络爬虫爬取天气数据及可视化分析 python程序设计报告 源代码+csv文件+设计报告 python期末简单大作业（自己写的，重复率低） 利用python爬取了网站上的城市天气，并用利用可视化展示，有参考文献有...
    爬取中国大学的排名
    dhw15053的博客
    06-05 397
    爬取中国大学排名代码如下: 1 # -*- coding: utf-8 -*- 2 ''' 3 获取中国大学的排名 4 @author: hjx 5 ''' 6 import requests 7 from bs4 import BeautifulSoup 8 import pandas 9 # 1. 获取网页内容10 def getHTMLText(url):11 try:1...
    爬取中国大学排名
    KK_2018的技术博客_程序员不止是程序员
    01-29 311
    import requests from bs4 import BeautifulSoup import bs4 url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html" ulist = [] # 获取HTML页面 def getHTML(url): try: r = requests.get(url,...
    python爬取高考各高校分数线_Python爬虫实战之 爬取全国理工类大学数量+数据可视化...
    05-29
    好的，我理解您的问题是想了解如何使用Python爬虫爬取高考各高校分数线和全国理工类大学的数量，并进行数据可视化。以下是我为您提供的解答： 1. 爬取高考各高校分数线 要爬取高考各高校分数线，您可以先找到一个包含分数线数据的网站，比如中国教育在线或者各省教育招生考试院的官网。然后使用Python的requests库和beautifulsoup库来进行网页数据的获取和解析。具体的代码实现可以参考以下文章： https://www.jianshu.com/p/8999d187a6a3 2. 爬取全国理工类大学数量 要爬取全国理工类大学数量，您可以先找到一个包含全国各大高校信息的网站，比如中国大学排名网或者各省教育招生考试院的官网。然后使用Python的requests库和beautifulsoup库来进行网页数据的获取和解析。具体的代码实现可以参考以下文章： https://blog.csdn.net/dengziyue/article/details/84947515 3. 数据可视化 要进行数据可视化，您可以使用Python的matplotlib库或者seaborn库来进行数据的绘制。比如可以使用柱状图来展示各高校分数线的情况，使用饼状图来展示全国理工类大学的数量分布等。具体的代码实现可以参考以下文章： https://blog.csdn.net/qq_40057213/article/details/80712594 希望以上解答能够帮助到您，如有任何问题请随时提出。
    我写的代码全是bug CSDN认证博客专家 CSDN认证企业博客
    码龄2年 暂无认证
    20
    原创
    105万+
    周排名
    3万+
    总排名
    3万+
    访问
    等级
    929
    积分
    341
    粉丝
    397
    获赞
    39
    评论
    362
    收藏
    习惯养成
    新秀勋章
    持之以恒
    勤写标兵
    笔耕不辍
    话题达人
    创作能手
    私信

    目录

    软件安装     7篇
  • 环境配置     9篇
  • 算法     1篇
  • 动态规划     1篇
  • 大数据基础编程实验案例教程     8篇
  • 爬虫     3篇
  • 数据可视化     3篇
  • 课程设计     1篇
  • 机器学习     1篇
  • Java课程设计
  • 毕业设计
  • 经验分享
  • 学习心得
  • C语言
  • #排序方法
    • 为什么被折叠? 到【灌水乐园】发言
    前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝
    hope_wisdom
    发出的红包

    打赏作者

    我写的代码全是bug

    你的鼓励将是我创作的最大动力

    ¥1 ¥2 ¥4 ¥6 ¥10 ¥20
    扫码支付：¥1
    获取中
    扫码支付

    您的余额不足，请更换扫码支付或充值

    使用余额支付

    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值

    相关内容推荐

    邵阳seo快排站外seo推广医疗网站seoseo日常工作表seo优化哪家最好中山seo排名收费珠研seo都昌seo如何做网站seo优化高级seo培训课程黑河seo快排怎么样学seoseo转竞价移动搜索seo学习seo培训荣耀seo胖虎seoseo小飞学seo哪里好SeO杂化seo推广网络广州seo外包服务巴南seo快排seo又称为双鸭山seo快排seo关键字如何优化深圳seo优化哪家好企业怎么管理seo小夏seoseo流量排名工具seo排名不知是网站排名网站手机版排名seo山东seo外包seo 转化率seo关键词怎么布局seo关键词怎么设置学seo如何入门成都Seo网络推广爱SEO网seo注册华东seot3seoseo练习seo技巧有哪些seo按天扣费杭州seo网络公司旅游网站seo网络seo优化外包出口产品怎么做seo中山seo排名推广企业重庆百度seo排名seo优化软件排行榜西城seo快排西安seo外包v1seo优化移动端阿泽seoseo优化要学习什么跟seo排名点击软件网站seo要多少钱中山seo推广如何进行网站seo优化网站seo优化专家seo项目案例seo快速刷排名学seo哪里好师哥seo中山seo快排校园seo泉州网站seoseo学习建议seo网赚vip教程东莞seo顾问seo如何优化的柳州seo优化衡水seo优化公司seo计费系统源码快速优化seo软件哪家好猎纵seoseo生存seo推广优化托管南宁seo网络推广公司瀛 范seoseo技巧seo排名优化怀柔seo网站seo建议seo优化的效果seo搜索优化服务seo关键词怎么布局镜像seo成都seo论坛淘宝seo优化工具网络seo培训班郑州seo推广公司seo技术培训中心SEO法则常德百竞seo张亚楠seo蚂蚁seo外链助手seo sem是什么盐田SEO利于seo优化的网站广州seo关键词阿克苏seoseo采集网站seo描述喵绅士SEO千元seo学seo怎么样seo服务公司电话昆明seo博客视频网站SEO优化seo常用优化技巧叶胜超seo教程北京seo实战培训郑州seo培训课程外贸seo优化平台网络优化seo培训钟楼seo推广seo优化的是什么seo网络推广课程周小迪seo合肥自动seo优化潍坊网站建设seo环球seoseo卖产品seo优化西安seo埋词论坛对seoseo竞价推广seo网站代码优化SEO做得最好的网站seo培训有哪些seo相关词朱海涛seoseo优化秘籍肇庆seo服务seo工作量seo搜索引擎优化技术做0seo快seo排名点击如何seo页面优化费用seo推荐深圳好的seo公司鸭子seo济南做seo的公司排名sem和seo是什么职业seo长尾关键词优化赤峰seo福州网站SEO优化贵阳seo技术培训西安SEO优化顾问北京网站seo优化文旦SEO北京seo顾问服务阿飞seo湖北seo培训网站优化首页seo上首页seo破浪seo绝地seo宁波seo网站优化金山seo快排谷歌seo专业培训seo关键词优化公司哪家好徐州网站seo优化seo自动外链工具seo推广职责简爱seo网站首页SEO关键词布局SEO地位商洛seo云seo青岛优化seoseo网站监测seo负面处理北京seo优化推广公司拉萨seo培训大兴seo霜天seo杨钦鸿seo站腾seo论坛对seoseo黑帽快速排名网络优化seo招聘seo学会后能做什么seo关键字工具企业站seo公司seo技术优化技巧西安seo技巧刘毅seo关键词seo排名优化如何免费网站建设seoseo组seo工作日常市北高端seo优化排名深圳seo优化团队seo培训学校排名免费seo推广软件seo论坛如何推广广州学习seo

    合作伙伴

    天下标王

    龙岗网络公司
    深圳网站优化
    龙岗网站建设
    坪山网站建设
    百度标王推广
    天下网标王
    SEO优化按天计费
    SEO按天计费系统