基于python的爬虫毕业设计

摘 要

随着社会经济的快速发展，人们的生活水平得到了显著提高，但随之而来的社会问题也越来越多。其中最为显著的就是就业问题。为此，招聘信息的展示也变得越来越为重要。但是在大量的招聘信息中，人们在提取自己最想要的信息时变得不那么容易，对于应聘者也是如此。本系统通过对网络爬虫的分析，研究智通人才网站数据，尝试使用Python技术进行开发，将智通人才网招聘信息尽可能的爬取出来，并对结果进行检测判断，最后可视化分析出来，为用户提供精确的查询结果。基于Python的招聘网站爬虫及可视化系统旨在提高数据挖掘的效率，便于科学的管理和分析招聘数据。

本文先分析基于Python的招聘网站爬虫及可视化系统的背景和意义；对常见的爬虫原理，获取策略，信息提取等技术进行分析；本系统使用python进行开发，MySQL数据库进行搭建，实现了招聘的数据爬取；对数据库的查询结果进行检测并可视化分析，对系统的前台界面进行管理，分析爬取的结果，并对招聘数据结果进行大屏显示；最后通过测试实现了数据爬取，存储过滤和数据可视化分析，以及系统管理等功能。

[关键词] 爬虫，python，大数据，关键字，招聘数据

Abstract

With the rapid development of social economy, people's living standard has been improved significantly, but the social problems are also increasing. The most obvious is employment. Therefore, the display of recruitment information is becoming more and more important. But in a large number of job postings, it becomes difficult for people to extract the information they want most, and this is also true for applicants. This system, through the analysis of web crawler, studies the data of Zhitong talent website, tries to use Python technology for development, crawls out the recruitment information of Zhitong talent website as far as possible, inspects and judges the results, and finally makes visual analysis to provide users with accurate query results. The IT industry recruitment data analysis and job recommendation system aims to improve the efficiency of data mining and facilitate scientific management and analysis of recruitment data.

This paper first analyzes the background and significance of the IT industry recruitment data analysis and job recommendation system; The common crawler principle, acquisition strategy, information extraction and other technologies are analyzed. The system uses python to develop, MySQL database to build, to realize the recruitment of data crawling; Detect and visually analyze the query results of the database, manage the foreground interface of the system, analyze the crawled results, and display the results of the recruitment data on a large screen; Finally, data crawling, storage filtering, data visualization analysis, and system management are realized through testing.

Keywords: crawler, python, big data, keywords, recruitment data

目 录

摘 要 I

Abstract II

1 绪论 3

1.1 课题背景 3

1.2 课题意义 3

1.3 研究内容 4

2 相关技术介绍 6

2.1 系统开发环境 6

2.2 网络爬虫概述 6

2.3 Python技术 7

2.4 MySQL数据库 8

3 系统需求分析 9

3.1 可行性分析 9

3.1.1操作可行性 9

3.1.2经济可行性 9

3.1.3技术可行性 9

3.2 功能需求分析 9

3.2.1爬虫功能需求分析 9

3.2.2数据可视化功能需求分析 11

3.3 非功能需求分析 11

4 系统设计 13

4.1 系统架构设计 13

4.2 系统功能设计 14

4.2.1数据采集功能设计 14

4.2.2数据分析功能设计 15

4.3 系统流程设计 16

4.3.1爬虫流程设计 16

4.3.2数据分析可视化流程 17

4.4 数据库设计 19

5 系统实现 21

5.1数据采集的实现 21

5.2数据库操作的实现 22

5.3系统首页的实现 22

5.4招聘数据大屏显示 23

6 系统测试 25

6.1测试目的 25

6.2功能测试 25

6.3测试总结 26

结 论 27

参 考 文 献 28

致 谢 29

在目前计算机信息化快速发展过程中，招聘和求职逐渐转移到网络中来，本题目来源于求职招聘系统研发项目的子项目，该项目主要完成一个招聘数据系统的设计和开发，该系统用于收集当前地方招聘数据，然后通过爬取、清理、存储、统计招聘数据，并进行招聘数据，是现代化招聘管理不可缺少的部分，为热门岗位的推荐提供便捷的模式。本文旨在对智通人才网上的招聘信息、岗位信息进行爬取，收集各种类型的招聘数据信息。然后对招聘数据的内容进行分析，整理招聘数据信息。本系统首先分析智通人才网站的网站结构，查看网站网页的排版，然后读取其包含的招聘信息。具体分为以下几个步骤，指定智通人才网url，爬取网页信息，获取特定的智通人才网url存入队列中，提取招聘数据的信息，将信息存入数据库，然后对岗位和薪资等进行分析，得出招聘数据的可视化视图。