推荐 :基于新闻标题的股价走势分析(附链接)

百家 作者:数据分析 2021-05-25 16:41:11

作者:  Ronil Patil  翻译:王闯 (Chuck)。校对:詹好


本文约1900字,建议阅读5分钟
作者基于Kaggle上的新闻头条和股票指数数据集,用Python演示了如何利用NLP技术对新闻标题进行情感分析,从而预测股价走势。


本文曾作为数据科学博客松(https://datahack.analyticsvidhya.com/contest/data-science-blogathon-7/)的部分内容发表。

“不要在草堆里找一根藏针,而是要买下整个草堆!”


本次的主题与上述的引文有关,是一项对于股票市场的数据研究工作(译者注:引文是美国指数基金先驱John Bogle的名言,简述了指数型基金的概念,即与其花昂贵的费用请经理人从股市里大海捞针,不如用最简单的方法、最少的手续费,投资整个市场。)

本文介绍了基于自然语言处理(NLP)技术,如何创建一个利用新闻标题来分析股价的模型。具体而言,利用NLP来对新闻标题进行情感分析,从而预测股价涨跌。因此,本文的所有内容都是围绕如何用情感分析来预测股价展开的。

数据集介绍

 
这里我们使用了Kaggle数据集。你可以从这里(https://github.com/ronil068/Stock-Sentiment-Analysis)直接下载。该数据集是Kaggle上可用的世界新闻和股票价格的组合数据。数据框中包括其中25列分别对应每一天的25条TOP新闻,日期列(Date)和标签列(Label, 因变量特征)。数据范围是2008年至2016年,数据框2000年至2008年是从雅虎财经抓取的。标签基于道琼斯工业平均指数。

  • 标签为1–股价上涨。

  • 标签为0–股价持平或下跌。


开始

 

首先引入相关库


import pandas as pdfrom sklearn.feature_extraction.text import CountVectorizerfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.metrics import classification_report,confusion_matrix,accuracy_score


读取数据集


df = pd.read_csv('F:Stock-Sentiment-Analysis-master/Stock News Dataset.csv', encoding = "ISO-8859-1")



我们可以观察一下该数据集的一些特征:Label(标签)是我们的因变量特征(目标值),其余26个特征是自变量。当Label特征的值为1时,代表股价上涨,值为0时,代表股价持平或下跌;Top1到Top25,则是当日的25个Top新闻的标题;Date是时间信息。以上我们用来进行分析的数据集了。我们将利用NLP来对文章标题进行情感分析,从而预测股价将上涨还是下跌。

将数据集划分为训练集和测试集

 
train = df[df['Date'] < '20150101']test = df[df['Date'] > '20141231']
 
我们将根据日期划分数据集。日期小于20150101的数据集为训练数据集,日期大于20141231的数据集为测试数据集。

特征工程


首先,我们需要从Top1到Top25的这些文本数据集中删除句号、感叹号等符号,只保留文字信息。因为进行情感分析不需要符号之类的信息。这里使用了正则表达式来进行处理。如前文所述,除了小写字母a-z和大写字母A-Z之外,所有内容都被替换为空白。如果有任何特殊字符出现,它将被自动删除并被替换为空格。
 
 # Removing special charactersdata=train.iloc[:,2:27]data.replace("[^a-zA-Z]"," ",regex=True, inplace=True)# Renaming column names for better understanding and ease of accesslist1= [i for i in range(25)]new_Index=[str(i) for i in list1]data.columns= new_Indexdata.head(5)

更新后的数据集如下所示:


同时,我们还需要统一字符的大小写。这是非常关键的一步,因为每当我们尝试创建词袋模型或TF-IDF模型时,如果一个单词以大写字母开头,同时当它在另一个句子中以小写出现,模型将认为这是两个不同的单词。也就是说本来是同一个单词,但仅仅由于大小写的不同,却被视为不同的单词。这是我们需要避免的。

 # Convertng headlines to lower casefor index in new_Index:    data[index] = data[index].str.lower()data.head(1)

因此,请始终确保已将所有字母都转换为小写。当然也可以将它们转换为大写字母,但是如果决定将所有字母都转换为大写,则应当确保每个字母都应大写。

根据索引来合并所有新闻标题:


现在我们将某一天的25个Top新闻标题合并在一起,成为一个段落。这是为了方面我们后续应用CountVectorizer方法,即词袋模型或TF-IDF模型。因此,我将遍历每个日期,并将每一个日期下的25个标题合并为一个段落。

 headlines = []for row in range(0,len(data.index)):    headlines.append(' '.join(str(x) for x in data.iloc[row,0:25]))

现在,某一天的Top新闻标题就变成了这样:


应用CountVectorizer和RandomForestClassifier方法


此处,文本词频统计向量会将这些句子向量化。这便是词袋的含义。

 ## implement BAG OF WORDScountvector=CountVectorizer(ngram_range=(2,2))traindataset=countvector.fit_transform(headlines)## implement RandomForest Classifier
randomclassifier=RandomForestClassifier(n_estimators=200,criterion='entropy')randomclassifier.fit(traindataset,train['Label'])

在测试集上进行预测

 
现在我们将对测试集进行与训练集相同的特征转换。
 
 ## Predict for the Test Datasettest_transform= []for row in range(0,len(test.index)):    test_transform.append(' '.join(str(x) for x in test.iloc[row,2:27]))test_dataset = countvector.transform(test_transform)predictions = randomclassifier.predict(test_dataset)

最后,检查准确性 

 
在这里,我们将利用分类报告,混淆矩阵和准确率分数来检查模型的准确性。

 matrix = confusion_matrix(test['Label'],predictions)print(matrix)score = accuracy_score(test['Label'],predictions)print(score)report = classification_report(test['Label'],predictions)print(report)


我们终于完成了所有步骤。

现在,假设你想预测明天股价涨跌,只需对排名前25的头条新闻应用本文中介绍的转换方法,然后将其输入到模型中,模型就会输出0或1,来表示明天的股票会不会上涨。

这就是如何利用新闻标题来进行股票情感分析的方法。

关于作者


Ronil Patil是一个终身学习者,对深度学习,NLP,机器学习和物联网充满热情。

Ronil Patil

https://www.linkedin.com/in/ronil08/


原文标题:

Stock Price Movement Based On News Headline

原文链接:

https://www.analyticsvidhya.com/blog/2021/05/stock-price-movement-based-on-news-headline

译者简介:王闯(Chuck),台湾清华大学资讯工程硕士。曾任奥浦诺管理咨询公司数据分析主管,现任尼尔森市场研究公司数据科学经理。很荣幸有机会通过数据派THU微信公众平台和各位老师、同学以及同行前辈们交流学习。

END

版权声明:本号内容部分来自互联网,转载请注明原文链接和作者,如有侵权或出处有误请和我们联系。


合作请加QQ:365242293  

数据分析(ID : ecshujufenxi )互联网科技与数据圈自己的微信,也是WeMedia自媒体联盟成员之一,WeMedia联盟覆盖5000万人群。

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接