Python 分析热卖年货，今年春节大家都在送啥？

作者 |?Cherich_sun

来源 | 杰哥的IT之旅

头图 | 下载于视觉中国

上面使用清洗好的数据后用 finebi 第三方可视化工具完成的。接下来是用 Python 的实现过程，对于本文的叙述，主要分为以下五步：

pip?install?selenium

#?coding=utf8
import?re
from?selenium.webdriver.chrome.options?import?Options
from?selenium?import?webdriver
import?time
import?csv


#?搜索商品，获取商品页码
def?search_product(key_word):
????#?定位输入框
????browser.find_element_by_id("q").send_keys(key_word)
????#?定义点击按钮，并点击
????browser.find_element_by_class_name('btn-search').click()
????#?最大化窗口：为了方便我们扫码
????browser.maximize_window()
????#?等待15秒，给足时间我们扫码
????time.sleep(15)
????#?定位这个“页码”，获取“共100页这个文本”
????page_info?=?browser.find_element_by_xpath('//div[@class="total"]').text
????#?需要注意的是：findall()返回的是一个列表，虽然此时只有一个元素它也是一个列表。
????page?=?re.findall("(\d+)",?page_info)[0]
????return?page


#?获取数据
def?get_data():
????#?通过页面分析发现：所有的信息都在items节点下
????items?=?browser.find_elements_by_xpath('//div[@class="items"]/div[@class="item?J_MouserOnverReq??"]')
????for?item?in?items:
????????#?参数信息
????????pro_desc?=?item.find_element_by_xpath('.//div[@class="row?row-2?title"]/a').text
????????#?价格
????????pro_price?=?item.find_element_by_xpath('.//strong').text
????????#?付款人数
????????buy_num?=?item.find_element_by_xpath('.//div[@class="deal-cnt"]').text
????????#?旗舰店
????????shop?=?item.find_element_by_xpath('.//div[@class="shop"]/a').text
????????#?发货地
????????address?=?item.find_element_by_xpath('.//div[@class="location"]').text
????????#?print(pro_desc,?pro_price,?buy_num,?shop,?address)
????????with?open('{}.csv'.format(key_word),?mode='a',?newline='',?encoding='utf-8-sig')?as?f:
????????????csv_writer?=?csv.writer(f,?delimiter=',')
????????????csv_writer.writerow([pro_desc,?pro_price,?buy_num,?shop,?address])


def?main():
????browser.get('https://www.taobao.com/')
????page?=?search_product(key_word)
????print(page)
????get_data()
????page_num?=?1
????while?int(page)?!=?page_num:
????????print("*"?*?100)
????????print("正在爬取第{}页".format(page_num?+?1))
????????browser.get('https://s.taobao.com/search?q={}&s={}'.format(key_word,?page_num?*?44))
????????browser.implicitly_wait(25)
????????get_data()
????????page_num?+=?1
????print("数据爬取完毕！")


if?__name__?==?'__main__':
????key_word?=?input("请输入你要搜索的商品：")
????option?=?Options()
????browser?=?webdriver.Chrome(chrome_options=option,
???????????????????????????????executable_path=r"C:\Users\cherich\AppData\Local\Google\Chrome\Application\chromedriver.exe")
????main()

import?pandas?as?pd
import?matplotlib?as?mpl
mpl.rcParams['font.family']?=?'SimHei'
from?wordcloud?import?WordCloud
from?ast?import?literal_eval
import?matplotlib.pyplot?as?plt
datas?=?pd.read_csv('./年货.csv',encoding='gbk')
datas

li?=?[]
for?each?in?datas['关键词'].values:
????new_list?=?str(each).split(',')
????li.extend(new_list)
def?func_pd(words):
????count_result?=?pd.Series(words).value_counts()
????return?count_result.to_dict()

frequencies?=?func_pd(li)
frequencies.pop('其他')

plt.figure(figsize?=?(10,4),dpi=80)
wordcloud?=?WordCloud(font_path="STSONG.TTF",background_color='white',?width=700,height=350).fit_words(frequencies)
plt.imshow(wordcloud)
plt.axis("off")
plt.show()

#?plt.pie(x,lables,autopct,shadow,startangle,colors,explode)
food_type?=?datas.groupby('价格区间').size()
plt.figure(figsize=(8,4),dpi=80)
explodes=?[0,0,0,0,0.2,0.1]
size?=?0.3
plt.pie(food_type,?radius=1,labels=food_type.index,?autopct='%.2f%%',?colors=['#F4A460','#D2691E','#CDCD00','#FFD700','#EEE5DE'],
???????wedgeprops=dict(width=size,?edgecolor='w'))
plt.title('年货价格区间占比情况',fontsize=18)
plt.legend(food_type.index,bbox_to_anchor=(1.5,?1.0))
plt.show()

data?=?datas.groupby(by='店铺名')['销量'].sum().sort_values(ascending=False).head(10)
plt.figure(figsize?=?(10,4),dpi=80)

plt.ylabel('销量')
plt.title('年货销量前十名店铺',fontsize=18)
colors?=?['#F4A460','#D2691E','#CDCD00','#EEE5DE',?'#EEB4B4',?'#FFA07A',?'#FFD700']
plt.bar(data.index,data.values,?color=colors)
plt.xticks(rotation=45)
plt.show()

foods?=?datas.groupby(by='类别')['销量'].sum().sort_values(ascending=False).head(10)
foods.sort_values(ascending=True,inplace=True)
plt.figure(figsize?=?(10,4),dpi=80)
plt.xlabel('销量')
plt.title('年货推荐购买排行榜',fontsize=18)
colors?=?['#F4A460','#D2691E','#CDCD00','#CD96CD','#EEE5DE',?'#EEB4B4',?'#FFA07A',?'#FFD700']
plt.barh(foods.index,foods.values,?color=colors,height=1)
plt.show()

结论与建议

更多精彩推荐

?爬了20W+条猫咪交易数据，它不愧是人类团宠
?英超引入 AI 球探，寻找下一个足球巨星
?三年投 1000 亿，达摩院何以仗剑走天涯？
?2021年浅谈多任务学习

点分享
点收藏
点点赞
点在看