【资源说明】1、该资源包括项目的全部源码，下载可以直接使用！2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，作为参考资料学习借鉴。3、本资源作为“参考资料”如果需要实现其他功能，需要能看懂代码，并且热爱钻研，自行调试。基于Flask的Python全国招聘岗位就业可视化系统源码+项目说明.zip## **1 开发环境**- [x] 1 系统：Window 10 家庭中文版。- [x] 2 语言：Python（3.8.5）、MySQL（5.5）。- [x] 3 Python所需的库：flask、pymysql、pandas、numpy、time、datetime、requests、etree、jieba、re、json、decimal（没有的话pip或conda安装一下~）。- [x] 4 编辑器：jupyter Lab（jupyter notebook）、Pycharm（主用）、Navicat。## **2 运行说明**本项目下面有五个.py的文件，下面分别阐述各个文件所对应的功能：
- [x] 1 data_collection：分别从前程无忧网站和猎聘网上以关键词`job_name`爬取相关数据。其中，前程无忧爬取的数据主要用来进行相关图表的绘制；而猎聘网上主要为岗位要求文本数据，这部分进行词云的可视化展示。- [x] 2 data_clean：对爬取到的数据进行清洗，包括去重去缺失值、变量重编码、特征字段创造、文本分词等。- [x] 3 data_store：将清洗后的数据全部储存到`MySQL`中，其中对文本数据使用`jieba.analyse`下的`extract_tags`来获取文本中的关键词和权重大小，方便绘制词云。- [x] 4 utils：大多为app调用MySQL数据库中的工具类函数；同时，里面也有引用data_collection、data_clean、data_store等函数，我们也主要使用该工具类进行岗位数据的爬取、清洗和存储。- [x] 5 app：使用`Python`一个小型轻量的`Flask`框架来进行`Web`可视化系统的搭建，在static中有css和js文件，js中大多为百度开源的[ECharts]()，再通过自定义`controller.js`来使用ajax调用flask已设定好的路由，将数据异步刷新到templates下的`main.html`中。
- [x] 6 如何运行：先运行utils，提前进行数据采集、数据清洗、数据存储操作，之后更改app修改好`datatable`和`job_name`，这部分信息务必与utils中输入的保持一致（因为发现app一运行的话就会直接给出网页，所以没法在控制台上同步将变量赋值过去*_*）。- [x] 7 温馨提示：由于我在数据采集部分使用了一个用redis搭建的代理IP池，所以一开始运行的话需要将里面的proxies删掉，使用time.sleep即可（使用代理池能防止被封IP，同时可以更快爬取数据，实现可视化操作）。## **3 你将会学到**- [x] 1 Python爬虫：盗亦有道，掌握requests和xpath的相关用法。- [x] 2 数据清洗：能详细知道项目中数据预处理的步骤，包括去重去缺失值、变量重编码、特征字段创造和文本数据预处理，玩转pandas、numpy相关用法。- [x] 3 数据库知识：select、insert等操作，掌握pymysql相关用法。- [x] 4 前后端知识：了解到HTML、JQuery、JavaScript、Ajax的相关用法。- [x] 5 Flask知识：能快速建立起一个轻量级的Web框架，利用Python实现前后端交互。......
