个人练手的小项目，主要逻辑如下： 利用 scrapy 框架对拉勾网上的职位进行抓取，数据存储至 mongodb 中，后续进行进一步分析导出 json 格式数据，利用 fabric + 定时任务上传更新数据至服务器，完成自动部署。目前仅做了对 python 相关职位的抓取。
至于抓取回来的数据，其实并没有做什么分析，只是归类展示。对于关键词的整理，算是用了比较 trick 的方法，通过正则匹配出所有英文单词，排除掉某些不需要的词组，然后进行词频的排序，得出了一个高频关键词的结果。但是这个不算是方法的方法，势必会遗漏掉某些可能是通过中文描述的关键词组，所以还望有经验的前辈指教。
数据展示网站示例：http://107.170.207.236/job_analysis/（就是台 DO 的 5 刀服务器，各位高抬贵手）
数据展示项目地址：https://github.com/namco1992/job_analysis
爬虫项目地址：https://github.com/namco1992/lagou_crawler
本人前端苦手，现在只是做了一个非常简陋的展示，没有做更进一步的分析。也希望感兴趣的朋友能提些不同维度分析的建议，当然也非常欢迎直接提 issue 或者 Pull Request 。
我个人想到的还有通过地域维度分析薪酬情况，或者增加更多类别的工作岗位抓取。也希望大家有其他想法的话能够不吝赐教。
最后，如果能给个 star ，那就是对我莫大的支持了。再次感谢！
1
Select Language