案例▍Python实战 爬取万条票房数据分析2019春节档电影状况

今年春节档全国共有8部影片上映，对于影片的对比分析已经非常多，孰优孰劣，每个人心里都有一杆秤，不再赘述。本文着重分析影片票房的地域差别，爬取了年后两周各地万余家影院的票房数据，一起来看看各地影院今年春节档表现如何，非官方统计，数据一定不准确，看看就好。

# -*- coding: utf-8 -*-
"""
Created on Fri Oct 19 18:50:03 2018

"""
import urllib
import requests
from fake_useragent import UserAgent
import json
import pandas as pd
import time
import datetime

# 发送get请求
comment_api = 'http://www.cbooo.cn/BoxOffice/getCBW?pIndex={}&dt={}'
"""
cinemaName:影院名称
amount:当周票房
avgPS:场均人次
avgScreen：单荧幕票房
screen_yield:单日单厅票房
scenes_time:单日单厅场次
"""


headers = { "User-Agent": UserAgent(verify_ssl=False).random}

#response_comment = requests.get(comment_api.format(1,1040),headers = headers)
#json_comment = response_comment.text
#json_comment = json.loads(json_comment)
col = ['cinemaName','amount','avgPS','avgScreen','scenes_time','screen_yield']

dataall = pd.DataFrame()


num = 1035
for i in range(1,num+1):
   

   response_comment = requests.get(comment_api.format(i,1041),headers = headers)
   json_comment = response_comment.text
   json_comment = json.loads(json_comment)        
   
   n = len(json_comment['data1'])
   datas = pd.DataFrame(index = range(n),columns = col)
   for j in range(n):        
       datas.loc[j,'cinemaName'] = json_comment['data1'][j]['cinemaName']
       datas.loc[j,'amount'] = json_comment['data1'][j]['amount']
       datas.loc[j,'avgPS'] = json_comment['data1'][j]['avgPS']
       datas.loc[j,'avgScreen'] = json_comment['data1'][j]['avgScreen']
       datas.loc[j,'scenes_time'] = json_comment['data1'][j]['scenes_time']
       datas.loc[j,'screen_yield'] = json_comment['data1'][j]['screen_yield']

   dataall = pd.concat([dataall,datas],axis = 0)
   print('已完成 {}% !'.format(round(i/num*100,2)))
   time.sleep(0.5)
   
dataall = dataall.reset_index()

data1 = data1.drop_duplicates()
data2 = data2.drop_duplicates()

datas = pd.merge(data1,data2,left_on ='cinemaName',right_on = 'cinemaName').dropna()
datas = datas.reset_index(drop = True)

dataall = datas[['cinemaName']]

dataall['amount'] = datas['amount_x'] + datas['amount_y']
dataall['avgPS'] = (datas['avgPS_x'] + datas['avgPS_y'])/2
dataall['avgScreen'] = datas['avgScreen_x'] + datas['avgScreen_y']
dataall['screen_yield'] = (datas['screen_yield_x'] + datas['screen_yield_y'])/2
dataall['scenes_time'] = (datas['scenes_time_x'] + datas['scenes_time_y'])/2
dataall['avgprice'] = dataall.screen_yield/dataall.scenes_time/dataall.avgPS
dataall = dataall.dropna().reset_index(drop = True)

result = cpca.transform(dataall.cinemaName.tolist(),cut = False)
dataall['province'] = result['省']
dataall['city'] = result['市']

新年新气象，36大数据社群（大数据交流、AI技术学习群、机器人研究、AI+行业、企业合作群）火热招募中，对大数据和AI感兴趣的小伙伴们。增加AI小秘书微信号：a769996688，说明身份即可加入。

欢迎投稿，投稿/合作：dashuju36@qq.com

如果您觉得文章不错，那就分享到朋友圈~