关于 Python 数据抓取、分析、挖掘、机器学习和Python 分布式计算内容分享

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
import sys
reload(sys)
sys.setdefaultencoding('utf8')
driver = webdriver.Chrome("/Users/didi/Downloads/chromedriver") driver.get('http://xxx')
elem_account = driver.find_element_by_name("UserName")
elem_password = driver.find_element_by_name("Password")
elem_code = driver.find_element_by_name("VerificationCode") elem_account.clear()
elem_password.clear()
elem_code.clear()
elem_account.send_keys("username")
elem_password.send_keys("pass")
elem_code.send_keys("abcd")
time.sleep(10)
driver.find_element_by_id("btnSubmit").submit()
time.sleep(5) driver.find_element_by_class_name("txtKeyword").send_keys(u"x") #模拟搜索 driver.find_element_by_class_name("btnSerch").click()
# ...省略处理过程
dw = driver.find_elements_by_xpath('//li[@class="min"]/dl/dt/a')
for item in dw:
url = item.get_attribute('href')
   if url:
 ulist.append(url)
 print(url + "---" + str(pnum))
 print("##################")

#!/usr/bin/env python
# -*- coding: utf-8 -*-
string = r'src="(http://imgsrc.baidu.com.+?.jpg)" pic_ext="jpeg"' # 正则表达式字符串 urls = re.findall(string, html)
import requests
from lxml import etree
import urllib
response = requests.get(url)
html = etree.HTML(requests.get(url).content)
res = html.xpath('//div[@class="d_post_content j_d_post_content "]/img[@class="BDE_Image"]/@src') # lxml
import requests
from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'lxml') # 解析response并创建BeautifulSoup对象 urls = soup.find_all('img', 'BDE_Image')

简单例子:
pip2 install Numpy
>>> import numpy as np
>>> a = np.arange(10)
>>> a
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> a ** 2
array([ 0, 1, 4, 9, 16, 25, 36, 49, 64, 81])
pip2 install Scipy
>>> import numpy as np
>>> from scipy import linalg
>>> a = np.array([[1, 2], [3, 4]])
>>> linalg.det(a)
-2.0
pip2 install pandas
>>> df = pd.DataFrame({ 'A' : pd.date_range("20170802", periods=5), 'B' : pd.Series([11, 22, 33, 44,
55]), 'C' : pd.Categorical(["t","a","b","c","g"])})
>>> df
ABC 0 2017-08-02 11 t 1 2017-08-03 22 a 2 2017-08-04 33 b 3 2017-08-05 44 c 4 2017-08-06 55 g
pip2 install Matplotlib
>>> import matplotlib.pyplot as plt
>>> plt.plot([1, 2, 3])
[0x113f88f50>]
>>> plt.ylabel("didi")
0x110b21c10>
>>> plt.show()

#!/usr/local/bin/python
# -*- coding: utf-8 -*-
'''
预测Iris https://en.wikipedia.org/wiki/Iris_flower_data_set '''
# 导入模块
from __future__ import print_function
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
# 创建数据
iris = datasets.load_iris()
iris_X = iris.data # 花萼的长宽、 花瓣的长宽
iris_y = iris.target # 花的种类 0, 1, 2
print(iris_X)
print(iris_y)
print(iris.target_names)
# 定义模型-训练模型-预测
X_train, X_test, y_train, y_test = train_test_split(iris_X, iris_y, test_size = 0.1) # 训练数据10% knn = KNeighborsClassifier() # 创建KNN近邻器
knn.fit(X_train, y_train) # 训练数据
predicts = knn.predict(X_test) # 得到预测结果
# 对比结果
print("#########################")
print(X_test)
print(predicts)
print(y_test)
# 计算预测准确率
print(knn.score(X_test, y_test))
[[ 5.   3.3  1.4  0.2]
[ 5.   3.5  1.3  0.3]
[ 6.7  3.1  5.6  2.4]
[ 5.8  2.7  3.9  1.2]
[ 6.   2.2  5.   1.5]
[ 6.   3.   4.8  1.8]
[ 6.3  2.5  5.   1.9]
[ 5.   3.6  1.4  0.2]
[ 5.6  2.9  3.6  1.3]
[ 6.9  3.2  5.7  2.3]
[ 4.9  3.   1.4  0.2]
[ 5.9  3.   4.2  1.5]
[ 4.8  3.   1.4  0.1]
[ 5.1  3.4  1.5  0.2]
[ 4.7  3.2  1.6  0.2]]
[0 0 2 1 1 2 2 0 1 2 0 1 0 0 0]
[0 0 2 1 2 2 2 0 1 2 0 1 0 0 0]
0.933333333333

#!/usr/local/bin/python # -*- coding: utf-8 -*- '''
波士顿房价趋势
'''
# 导入模块
from __future__ import print_function
from sklearn import datasets
from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt
# 创建数据
loaded_data = datasets.load_boston() #波士顿的房价
data_X = loaded_data.data
data_y = loaded_data.target
print(data_X)
print(data_y)
# 定义模型-训练模型-预测
model = LinearRegression() # 线性回归
model.fit(data_X, data_y) # 训练数据
print(model.predict(data_X[:4, :])) # 得到预测结果
print(data_y[:4])
# 结果
print("#########################")
X, y = datasets.make_regression(n_samples=100, n_features=1, noise=10) # 生成回归模型数据100个样本, 每个样本一个特征, 高斯噪声
plt.scatter(X, y) # 散点图
plt.show()

news.txt:
滴滴出行与欧非地区领先出行企业Taxify达成战略合作 支持跨地区交通技术创新
2017-08-01 滴滴出行 【2017年8月1日，中国，北京/爱沙尼亚，塔林】滴滴出行今日宣布与欧非地区移动出行领军企业Taxify达成战略合作 。滴滴将通过投资以及智能交通技术研发等方面协作，支持Taxify在多元市场进行更深度的市场拓展和技术创新。 滴滴出行是全球领先的移动出行平台。依靠人工智能技术, 滴滴在超过400个城市为4亿多用户提供包括出租车、专车、快车、豪华车和顺风车等在内的多元化出行服务。在为1700 余万司机提供灵活就业与收入机会的同时，滴滴也以人工智能技术支持城市管理者建设一体化、可持续的智慧交通解决 方案。 Taxify于2013年成立于爱沙尼亚，是欧洲和非洲地区成长最快的移动出行企业。目前其出租车和私家车共享出行服务网 络遍及欧洲、非洲、西亚的中心城市;触达匈牙利、罗马尼亚、波兰、波罗的海三国、南非、尼日利亚、肯尼亚等18个 国家，拥有超过250万用户。 滴滴出行创始人、CEO程维表示:“Taxify在多元化的市场提供优质的创新型出行服务。我们都致力于运用移动互联网 科技的力量，满足迅速演变的消费者需求;帮助传统交通行业转型升级。我相信这一合作将为亚洲，欧洲和非洲市场间 构建跨地区智慧交通纽带作出贡献。”
Taxify创始人、CEO马克斯·维利格(Marcus Villig)表示:“Taxify将借力此次战略合作，巩固我们在欧洲和非洲核心市场的优势地位。我们相信滴滴是最理想的 伙伴，能帮助我们成为欧非地区最受欢迎和最有效率的出行选择。”
#!/usr/local/bin/python # -*- coding: utf-8 -*- '''
分析文章关键词
'''
import os
import codecs
import pandas
import jieba
import jieba.analyse
# 格式化数据格式
tagDF = pandas.DataFrame(columns=['filePath', 'content', 'tag1', 'tag2', 'tag3', 'tag4', 'tag5']) try:
with open('./houhuiyang/news.txt', 'r') as f: #载入语料库 content = f.read().strip()
   tags = jieba.analyse.extract_tags(content, topK=5) #TF_IDF
   tagDF.loc[len(tagDF)] = ["./news.txt", content, tags[0], tags[1], tags[2], tags[3], tags[4]]
   print(tagDF)
except Exception, ex:
   print(ex)

pip2 install nltk
>>> import nltk
>>> from nltk.corpus import stopwords #停止词 >>> nltk.download() # 安装语料库
>>> t = "Didi is a travel company"
>>> word_list = nltk.word_tokenize(t)
>>> filtered_words = [word for word in word_list if word not in stopwords.words('english')] ['Didi', 'travel', 'company']
>>> nltk.download('stopwords') #下载停止词
中英文NLP分词区别
1):启发式 Heuristic
2):机器学习/统计法:HMM、CRF
处理流程:raw_text -> tokenize[pos tag] -> lemma / stemming[pos tag] -> stopwords -> word_list

map/reduce/filter

word.log
北京 成都 上海 北京 山西 天津 广州
#!/usr/local/bin/python
# -*- coding: utf-8 -*-
'''
mapper
'''
import sys
try:
   for lines in sys.stdin:
       line = lines.split()
       for word in line:
           if len(word.strip()) == 0:
               continue
           count = "%s,%d" % (word, 1)
           print(count)
except IOError, ex:
print(ex)
#!/usr/local/bin/python
# -*- coding: utf-8 -*-
'''
reducer
'''
import sys
try:
   word_dict = {}
   for lines in sys.stdin:
       line = lines.split(",")
       if len(line) != 2:
           continue
       word_dict.setdefault(line[0], 0)
       word_dict[line[0]] += int(line[1])
   for key, val in word_dict.items():
    stat = "%s %d" % (key, val)
       print(stat)
except IOError, ex:
print(ex)

#-*- coding: UTF-8 -*-
#author houhuiyang
import torch
import numpy as np
from torch.autograd import Variable
import torch.nn.functional as F
import matplotlib.pyplot as plt
np_data = np.arange(6).reshape((2, 3))
torch_data = torch.from_numpy(np_data)
tensor2np = torch_data.numpy()
print(
"nnp_data", np_data, #矩阵
"ntorch_data", torch_data, #张量
  "ntensor to numpy", tensor2np
)
# data = [-1, -2, 1, 2, 3]
data = [[1, 2], [3, 4]]
tensor = torch.FloatTensor(data)
# abs sin cos mean平均值 matmul/mm print(
  "nnumpy", np.matmul(data, data),
  "ntorch", torch.mm(tensor, tensor)
)
# tensor variable
tensor_v = torch.FloatTensor([[1,2], [3,4]]) variable = Variable(tensor_v, requires_grad=True) # 计算中值
t_out = torch.mean(tensor_v * tensor_v) # x ^ 2 v_out = torch.mean(variable * variable) # 反向传播 print(
  tensor_v,
  variable,
  t_out,
  v_out
)
v_out.backward() # 反向传递
print(variable.grad) # 梯度
'''
y = Wx 线性
y =AF(Wx)非线性 【激励函数 relu/sigmoid/tanh】
'''
x =torch.linspace(-5,5,200) # 从-5到5取200个点
x = Variable(x)
x_np = x.data.numpy()
y_relu = F.relu(x).data.numpy()
y_sigmoid = F.sigmoid(x).data.numpy()
y_tanh = F.tanh(x).data.numpy()
# y_softplus = F.softplus(x).data.numpy() # 概率图 plt.figure(1, figsize=(8, 6))
# plt.subplot(221) # 绘制子图
plt.plot(x_np, y_relu, c = "red", label = "relu") plt.ylim(-1, 5)
plt.legend(loc = "best")
plt.show()
# plt.subplot(222)
plt.plot(x_np, y_sigmoid, c = "red", label = "igmoid")
plt.ylim(-0.2, 1.2)
plt.legend(loc = "best")
plt.show()
# plt.subplot(223)
plt.plot(x_np, y_tanh, c = "red", label = "subplot")
plt.ylim(-1.2, 1.2)
plt.legend(loc = "best")
plt.show()

#-*- coding: UTF-8 -*- #author 守望之心
'''
回归
分类
'''
import torch
from torch.autograd import Variable
import torch.nn.functional as F # 激励函数
import matplotlib.pyplot as plt
x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim = 1) # unsqueeze 一维转变为二维 y = x.pow(2) + 0.2 * torch.rand(x.size())
x, y = Variable(x), Variable(y)
# print(x)
# print(y)
# plt.scatter(x.data.numpy(), y.data.numpy())
# plt.show()
class Net(torch.nn.Module): # 继承 torch 的Moudle
def __init__(self, n_features, n_hidden, n_output):
super(Net, self).__init__() # 继承torch __init__
self.hidden = torch.nn.Linear(n_features, n_hidden) # 隐藏层线性输出 self.predict = torch.nn.Linear(n_hidden, n_output) # 输出线性层
def forward(self, x):
x = F.relu(self.hidden(x)) # 激励函数 x = self.predict(x) # 输出值
return x
net = Net(1, 10, 1) # 输入值， 隐藏层10，10个神经元， 1个输出值 print(net) # 输出搭建的神经网络结构
plt.ion()
plt.show()
# 训练工具
optimizer = torch.optim.SGD(net.parameters(), lr = 0.5) # 传入net的所有值， lr是学习率 loss_func = torch.nn.MSELoss() # 均方差
print(net.parameters())
for t in range(100):
prediction = net(x) #喂给net 训练数据x， 输出预测值 loss = loss_func(prediction, y) # 计算两者误差
# 反向传播
optimizer.zero_grad()
loss.backward()
optimizer.step()
if t % 5 == 0:
 plt.cla()
 plt.scatter(x.data.numpy(), y.data.numpy())
 plt.plot(x.data.numpy(), prediction.data.numpy(), "r-", lw = 5)
 plt.text(0.5, 0, 'Loss=%.4f' % loss.data[0], fontdict={'size': 20, 'color':  'red'})
 plt.pause(0.1)
plt.ioff()
plt.show()