爬取猎聘网招聘信息,我竟发现了最实用的程序员学习路线!

百家 作者:程序人生 2018-12-19 05:52:58


作者 | Don Lex

责编 | 胡巍巍

前两天,刚好看到网上的一些学习路线图,又对比了招聘网站上的要求,发现这两者其实差不多。

所以就用爬虫爬取了猎聘网上的岗位信息,对这些招聘信息进行处理,从中找出需要掌握的一些语言和工具,从而有目的地进行学习,更快的提高自己的能力,让自己不再为不知道学习线路而烦恼,也能够更好的符合招聘要求。


查看网页

   


搜索首页

详细要求

从这个岗位职责中,可以看出需要掌握的工具或语言绝大多数都是以英文为主。所以主要提取英文就行了。至于其他的信息就不进行提取了


流程


  1. 爬取搜索到的岗位链接;

  2. 进一步爬取详细的岗位要求;

  3. 提取其中英文单词;

  4. pyecharts展示。


爬取招聘岗位


使用BeautifulSoup进行解析,主要将岗位名称、详细链接公司薪资位置和学历要求这几个信息存到MongoDB中就好。

 1def getLink(seachname, pagenum):
 2    for i in range(pagenum):
 3        url 
"https://www.liepin.com/zhaopin/?init=-1&key={}&curPage={}".format(
 4            seachname, i)
 5        web_data = requests.get(url=url, headers=header)
 6        soup = BeautifulSoup(web_data.content, 'lxml')
 7        job_list = soup.select(".sojob-list > li")
 8        for item in job_list:
 9            name = item.select(".job-info > h3")[0]['title']
10            link = item.select(".job-info > h3 > a")[0]['href']
11            company = item.select(".company-name > a")[0].text
12            salary = item.select(".text-warning")[0].text
13            location = item.select(".area")[0].text
14            education = item.select(".edu")[0].text
15            data = {
16                "title": name,
17                "link": link,
18                "company": company,
19                "salary": salary,
20                "location": location,
21                "education": education,
22            }
23            pywork.insert(data) #使用MongoDB存储


详细岗位要求


由于任职要求中有
标签,需要将其切除,而且由于使用BeautifulSoup解析,所以
是tag对象,需要创建对象再删除。被这个问题困住了好久。
之后将所有爬取到的岗位要求都写到一个文件中,方便后期使用JieBa切分。

 1def getInfo(url, demands_text):
 2    web_data = requests.get(url, headers=header)
 3    soup = BeautifulSoup(web_data.content, 'lxml')
 4    try:
 5        demands = soup.select(".content-word")[0].contents
 6        demands = sorted(set(demands), key=demands.index)
 7        # 删除

 8        delete_str = "
"

 9        br_tag = BeautifulSoup(delete_str, "lxml").br
10        demands.remove(br_tag)
11        # 拼接所有要求
12        for item in demands:
13            demands_text += item.replace("
"
"")
14        #写入文件
15        f = open('demands.txt'mode='a+'encoding='UTF-8')
16        f.write(demands_text + "
"
)
17        f.close()
18    except:
19        logging.log("warning...")


分词

   

使用JieBa分词之后,还需要将一些单词例如:or,pc等上删除,本着“宁可错杀一千,不可放过一个”的原则,所以将少于1个字母的单词使用正则去掉

1def CutWordByJieBa(txt, seachname):
2    seg_list 
= jieba.cut(txt, cut_all=True)
3    w1 = "/ ".join(seg_list)  # 全模式
4    fil = re.findall('[a-zA-Z]{1,}/', w1) # 提取英文
5    strl = ""
6    for i in fil:
7        strl += i
8    strl = strl.lower() # 全部转换为小写


可视化

   

在这部分,之前只想着将需要掌握的工具用词云进行展示就好。然而,有点幸运呀!当使用Navicat12连接到MongoDB的时候,发现它有自动作图分析的功能。所以先用Navicat中的功能,简单的来看一下总体情况:

以爬虫工程师为关键词查询后,使用pyecharts进行数据展示:



重点


对比词云和bar图,感觉词云更加准确。但是柱状图却更便于分类,比如上图就可以发现需要掌握的工具可以分为三类:

  1. 数据库:MySQL、Oracle、MongoDB;

  2. 解析:XPath、CSS;

  3. 反爬:Cookie、IP、Scrapy、JWT。

其中JWT(JSON Web Token)我就不认识。所以通过这种方式,我就可以找到自己的盲区,就算不深入了解学习,但是百度一下,大概了解它是什么,还是可以的


最后


如果有感兴趣的小伙伴,可以自己动手试一下。个人感觉这些排名前10的工具对自己的学习线路、职业规划还是有点帮助的。也希望能够对那些正在迷茫的朋友有所帮助!

作者简介:Don Lex,在校大学生,正在发育并且渴望成为一个有技术、有情怀的coder。个人公众号 Python绿洲。

声明:本文为作者投稿,版权归对方所有。

 热 文 推 荐 

☞ 程序员真的都不爱炫富吗?

☞ 一个程序员父亲的呼吁:不要教你的孩子从小学编程!

☞ 我清华毕业,在龙泉寺写代码

☞ 今日头条能干掉微信么? | 畅言

☞ 公开课报名 | 基于自定义模板的OCR结果的结构化处理技术

☞ 会玩! 比特币诈骗手法升级, 从要钱到要命!

☞ Elastic:Beyond Search!

☞ 程序员为啥365天都背电脑包?这答案我服!


print_r('点个赞吧');
var_dump('点个赞吧');
NSLog(@"点个赞吧!");
System.out.println("点个赞吧!");
console.log("点个赞吧!");
print("点个赞吧!");
printf("点个赞吧!n");
cout < < "点个赞吧!" < < endl;
Console.WriteLine("点个赞吧!");
fmt.Println("点个赞吧!");
Response.Write("点个赞吧");
alert("点个赞吧"
echo"点个赞吧"

点击“阅读原文”,打开 APP 阅读更顺畅 。

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接