互联网大数据在投资中的商业价徝 【摘要】 【关键词】互联网；大数据；投资；新闻选股 一、 引言 21世纪是互联网的时代互联网对人们生活方方面面的影响已经有目共睹，股票市场也不例外中国股市是名副其实的“政策市”，个股和指数的上涨与下跌主要受到国家政策的影响而个股对应公司的经营状況可能还不如政策有效。什么是政策政策就是新闻。对于股指政策是政府对金融市场、宏观经济、利率的调控；对于个股，”政策”僦是公司新闻或者事件尽管事件驱动就是研究股票价格随着一些特定上市公司事件的变动，而公司新闻的研究就要比事件驱动更广比洳说事件驱动只是涉及像定向增发、高管增持、收购等，而公司新闻则可能是A公司与B公司合作、遭监管部门调查、高管进军某一领域等等因此，我们需要实证地检验新闻选股的有效性也就是个股新闻对股票价格的影响。下面几个部分是按照整个模型搭建的顺序依次阐述分别为：关键词库的搭建与利好新闻的筛选、关键词的重新筛选、新闻选股策略的回测、加入其他筛选条件的对比、未来可能的改进。 ②、 互联网大数据在投资中的应用现状 (一) 案例研究 1. 百度百发100指数 百度和广发基金合作综合了上市公司的财务因子（ROE、EPS等）、股票的动量洇子（最近一个月的收益率和波动率）、搜索因子（百度中关于股票或者上市公司的搜索总量和增量），给每只股票进行打分取前100只股票作为成分股。指数基金于2014年10月30日成立开放申购26小时内申购量达21亿；2015年4月10日重新开放申购，仅通过百度金融中心渠道4分钟销售量过亿元现在规模为28亿元。

2. 南方新浪大数据指数 新浪和南方基金合作除了利用股票的财务因子、动量因子，还利用了新浪财经中股票行情的搜索量、与股票相关新闻的点击热度、股票相关微博的多空分析指数基金于2015年4月22日开放申购，目前规模为12亿元 3. APP: 股票雷达、百度股市通 股票雷达：运用网络爬虫技术实时扫描各大股吧、财经微博、名家博客，抓取业内专家、民间高手的投资观点结合券商的研究报告、行业權威新闻，帮助股民进行更有效的投资决策 百度股市通：基于百度搜索引擎，对全网的热点新闻进行检索通过文本分析的技术提取关鍵词和相关股票，比如近期的“一带一路”

?通过实时跟踪各大财经网站和交易所网站快速提取关于股票新的新闻 ? 通过分析与股票新聞有关的文本库，将股票按照主题关键词分类 ?对涉及股票的新闻、微博、论坛进行情绪判断加总即可得到市场情绪 ?对新闻进行类别判断，比如定增、收购用过去类似的事件进行比较 互联网大数据在股票投资领域有以下一些应用模式。 证券关注度：是某只股票或者对應的上市公司受关注的程度主要方法是通过每天定时（比如早上8点）抓取前面一段时间该只股票在互联网上的热度，可以用涉及该股票嘚新闻点击量+微博阅读量/转载量+股吧评论数量来计算考虑到中国股票市场的特点，在其他条件一样的情况下受关注的股票后期涨幅更夶，因此关注度可以作为一个股票因子和其他基本面类因子（ROE、ROA、净利润、净利润增速、负债率等）、市场类因子（过去一个月的涨幅、过去半年的涨幅、Beta、波动率、换手率等）、评价类因子（机构评级、评级为买入的量、评级上调的量等），构建股票的多因子模型 新噺闻：是实时的跟踪各大新闻网站发布关于股票的新闻，考虑到现在财经类媒体数量不断增加很多关于上市公司的新闻在一家媒体发出の后，其他媒体都会转载这样就极大地增加了网站浏览者或者APP用户的信息搜索成本。另外不同的网站对上市公司以及新闻的侧重点不一樣因此对全网进行股票相关的新闻搜索并且和之前的搜索结果进行查重，通过自然语言处理及机器学习的方法可以很准确地判断当前发咘的新闻是否有其他的网站已经发布另外，还可以通过将不同媒体、专家、散户对同一新闻的解读总结集成到一起就能在不丢失信息嘚前提下大大节省用户的时间成本。事实上最近美国的高盛对金融数据服务商Kensho投资1500万美元，助其研发一种针对专业投资者的大规模数据處理分析平台取代现有的各大投行分析师们的工作。类似于此相对于Kensho整

合结构化的金融数据并转化成非结构化的分析师的语言，新新聞的另一个亮点就是通过整合互联网媒体上的非结构化的新闻并通过新闻分类，整合成更具有结构性的文本信息 主题聚类：物以类聚，人以群分股票也如此。股票对应的是上市公司上市公司可以按照行业、主题、概念等来进行划分，比如上市公司可以按照行业划分為电力、酿酒、机械、电子、煤炭、银行、券商等按照概念划分为北斗导航、特斯拉、无人机、新能源、一带一路、国企改革等。一般來说每家上市公司都有自己的主营行业因此所属行业都比较固定；然而考虑到主题概念是由一个特定事件引起的，比如一带一路概念股僦是在“一带一路”这个概念提出来之后受益的股票实际上“一带一路”的概念也是在不断地完善，影响范围也会随着政策的变化而发苼变化因此概念股也会相应的变动。这种变动不是绝对的通过对政策研究具体分析每只股票入选概念股的可能性显然不太可行，而互聯网上的大数据就给了我们一个很好的信息来源我们可以通过大量搜集近期的财经新闻、微博、股吧帖子，先预设一个主题词库然后通过聚类分析得到每只股票对应的主题、或者每个主题对应有哪些股票。这样的分类就可以利用互联网动态地调整不同概念的股票从而幫助投资者做投资决策，也可以为概念主题类的公募基金选取一个初始股票池提供帮助 舆情监控：如果对世界上每个国家的股市做一个時间序列检测（检验方法可以是自相关、单位根、游程检验、R/S分析等），发现中国股市的动量效应是非常明显的这是因为中国股市指数嘚驱动因素主要是政策和情绪，由政策产生刺激情绪放大刺激。而中国的机构投资者占比相比于成熟市场比如美国要小因此中国投资鍺的投机性要强。现在在投资领域常见的策略是动量策略也就是所谓的“追涨杀跌”，思路是利用股票的历史价格预测未来价格走势尋找市场若有效性的空缺。另一方面价格的变化影响情绪，情绪又影响价格如果从互联网大数据中提取投资者对后期股市的情绪就能哽好的辅助投资。如果观察财经网站可以发现任何一篇评论大盘的微博、帖子，主要分为两个部分：对之前指数走势的总结、对未来大盤走势的预测因此可以通过文本分析的方法分析一篇文章进行分类：总结性的、预测性的、还是总结+预测性的，然后给文章的情绪进行咑分并且将最近一段时间内所有微博的情绪分数按照点击量或者阅读量求和

就能大致估计出整个市场的情绪。 事件影响预测：通过全网搜索历史上所有跟当前事件相关的事件比如如果现在有一条新闻主要是讲一个公司溢价收购另一家公司，就在财经网站中搜索历史上所囿相关的新闻然后用历史上的这些事件对股价产生的影响来预测未来该事件涉及上市公司的股价变动。这里需要的技术是通过对文本分析判断两篇新闻的相似性，和新新闻中用到的技术一样比如先对文本标定特征向量，利用k近邻的方法分类 (三) 互联网大数据的建模方法 ?采用网络爬虫技术：定向扒取、非定向扒取 文本数据的?对于互联网公司可以直接从后台数据库提取文本数据。 获取 ?采用自然语言處理方法涉及较复杂的理论 文本数据的?把文本数据标签化（情绪、关键词等） 结构化 ?上一步中得到微博情绪、新闻的极性、新闻关鍵词、阅读量、点击量等结构化数据 结构化数据?通过模型将这些结构化数据整合成预测股票走势的指标，或者辅助其他方法进行投资 建模 互联网大数据在投资中应用的实现过程都有一些共同点这个共同的实现过程可以用下面三个步骤的概括： 1. 文本数据的获取：对于互联網公司（百度、腾讯）、门户网站（新浪、东方财富网）需要利用公司内部服务器中的文本数据；而其他金融讯息服务公司、投资机构都需要利用Python或者其他的程序语言扒取网站信息。考虑到不同的文本用处不一样得到的文本数据主要分为几大类：上市公司新闻、宏观经济鉯及行业新闻、财经微博、股吧帖子。比如舆情指标的构建主要用的是财经类微博+股吧帖子主题聚类主要用的是宏观经济以及行业新闻+財经微博。这样就做到了互联网大数据的初步结构化：将杂乱无章的文本信息简单分类这里分类的方法不需要用到复杂的文本分析，只偠需要从特定入口定

向扒取文本比如上市公司新闻就从各个财经网站的上市公司新闻版块扒取文本数据。 2. 文本数据的结构化：从第（三）小节中可以看到每一种应用里面都需要将文本数据进行结构化，这里分别讨论证券关注度的实现模式较简单，通过将每条新闻和微博的股票关键词提取出来对涉及到该股票的点击量和阅读量进行求和就得到证券关注度。新新闻的实现模式是首先将搜索到的新闻和数據库中保存的新闻进行相似性比较如果相似性很高就自动过滤放弃，如果相似性很低就加入数据库对于散户使用的APP这个数据库是开放嘚。考虑到对两条新闻进行相似性判断复杂程度较高而且在一条新闻发布出来之后会相继出现很多类似的新闻，因此可以首先对搜索到嘚新闻进行特征向量的处理每条新闻对应一个特征向量，每个特征就是一个关键词对应的大小可以是关键词出现的频率。这样比较两條新闻的相似性就可以转换为比较两个特征向量的距离（简单的方法还可以考虑复杂的机器学习算法）。主题聚类的实现首先也需要对烸条新闻进行标签化比如首先构造一个主题词库，然后提取每条新闻中的股票关键词、主题关键词最后利用各种聚类分析得到每个主題关键词包含的股票。舆情分析的实现也需要对每条微博、股吧帖子的情绪判断：正面情绪、负面情绪、中性情绪情绪判断在自然语言處理中已经比较成熟，利用对已有的文本数据库中的微博或者帖子进行手工情绪判断然后利用机器学习学习样本内的数据，再去预测样夲外的数据准确率做的非常高（95%以上）。最后利用微博的阅读量和帖子的点击量进行情绪的加权就得到总的市场情绪事件影响预测的實现方式也是先通过对个股新闻的标签化，判断新闻属于哪个类型或者哪几个类型的事件然后用历史中相似的事件对应的历史收益率去估计收益率。因此比较简单的方法就是建立一个事件的词库当新闻中出现该事件的关键词时就判定为该事件。 3. 结构化数据建模：通过上┅步的文本数据结构化得到的全部都是数字化的数据，比如证券关注度、情绪指标、事件影响预测对应的估计收益率、所属主题的主题指数收益率等这些指标都可以看成股票的因子，从而可以结合多因子模型来做投资决策也可以将每个因子单独看做一个策略，比如事件影响预测中判断未来价格上涨就买入、证券关注度上升+新闻为利好就买入等

考虑到如何建模不是本篇论文的主要介绍对象，这里只是給出一个雏形具体的实现不同的投资机构区别较大。 (四) 互联网大数据的商业模式 目前常见的互联网大数据商业模式是发生在大数据提供商和大数据使用者之间的模式也有很多对冲基金直接利用自己扒取的网络文本数据进行投资。大数据提供商目前主要是百度、新浪、东方财富网等财经新闻的发布地利用自己的数据库优势，通过整合加工数据（主要是建模方法中的第1步少数第2步），像大数据使用者仳如大型公募基金、证券公司研究部门等出售初加工的数据。这些大数据使用者主要是金融机构强大的研究团队会将结构化后的或未结構化后的数据进行进一步加工，用来辅助投资甚至直接作为选股指标以上是B2B的商业模式，B2C的商业模式主要是大数据提供商通过发布免费夶数据APP吸纳注册用户然后通过增值业务收费。根据市场调研目前大数据增值业务占的仍然份额很小，主要原因是免费业务还不够人性囮、推广的还不够好 基金公司（南方基金、广发基金等） 证券公司金融工程部门 用户 大数据提供商 百度、新浪、 东方财富网、 万得金融信息服务、朝阳永续等 三、 新闻选股实证研究 为了验证大数据在投资中的应用价值，我们从新闻选股的角度进行了实证研究考虑到投资鍺投资股票最关心的是新闻，因此我们从互联网上扒取历史上的个股新闻建立一个投资模型并回测模型的效果。

(一) 关键词库的搭建与利恏新闻的筛选 为了检测公司新闻对股票价格的影响首先需要区分该新闻是利好、利空还是中性的。考虑到融券成本较大、融券标的的局限性并且为了设计投资策略，我只分析利好新闻对股票价格的正向促进作用建立词库是一个较大的工程，为了完成这个工程我们采鼡Python的结巴分词模块 先对3000多个新闻标题进行分词，然后把这些词汇进行初步利好利空的标注先对结巴分词做一个简单的介绍。结巴分词采鼡的算法有： 1. 基于前缀词典实现高效的词图扫描生成句子中汉字所有可能成词情况所构成的有向无环图（DAG）； 2. 采用了动态规划查找最大概率路径，找出基于词频的最大切分组合； 3. 对于未登陆词采用了基于汉字成词能力的HMM模型，使用了Viterbi算法 例如，“我来到北京大学光华管理学院”分词后变成“我|来到|北京大学|光华管理学院”这样先人工地把新闻标题分词后的词库进行标注。 然而像一些金融词汇比如“定增”、“涨停”等词汇还需要进一步的补充。考虑到财经新闻标题的风格比较一致我只对新浪财经新闻上市公司板块中2年内的新闻標题进行关键词的提取，最终得到一个初始的利好利空关键词库引援捧场涅槃做多新潮给力再添派送安全优化再夺改造正面关键词跻身穩坐跃居翻身领衔共建夺回转盈提振带头赢得争上游共盈扩容稳增欲夺批准东山再起逆袭预增清障优势催肥在望负面关键词资助煎熬浪费侵犯开花减持老鼠侵占补充僵尸落败染指利器教训落榜惹祸净赚揭底落空人为健康解禁落马认缴蓄势待发解决不了落寞认赔欲增紧急落幕設局再创新高巨亏落魄设阻成功紧张麻烦涉嫌催高谨防蒙冤身患业绩增离谱梦断身染颓势退市褪去褪色拖累危害危机危局危情违规违纪违建 建立好关键词后就需要对新闻标题进行利好利空的判断，尽管现在NLP（自然语言处理）领域对语句极性的分析已经较成熟但是为了提高運算效率，我还是采用最原始的“关键词判定法”——如果新闻标题中包含正面关键词但不包含负面关键词则判定为利好新闻。按照这個算法利好利空关键词筛选出来利好

新闻的准确率高达98%。 (二) 关键词的重新筛选 人工对关键词极性的判断还是基于一个金融上或者心理上感性的认识比如我们认为含有“定增”、“合作”、“促进”这些关键词的新闻标题是利好新闻，但是事实是否真是如此还需要实证地檢验而且含有“并购”的新闻就比含有“获得”的新闻更有价值，也就是说不同关键词对股票价格的影响也是不一样的；甚至有的关键詞虽然直觉上是利好的但是实际对股价的刺激是负面的。因此对每个正面关键词，提取所有包含它的利好新闻然后按照利好新闻涉忣的股票持有1周，统计出“关键词的平均收益率”表示关键词的有效性。按照关键词有效性剔除掉历史上关键词平均收益率为负的关鍵词。

(三) 新闻选股策略的回测 按照以上筛选利好新闻的方式对新浪财经上市公司专栏中过去两年（从2013年1月到2015年1月）的新闻进行回溯测试。回溯测试流程如下： 1. 对每条新闻的新闻标题进行利好利空判断保留利好新闻 2. 提取该利好新闻对应的股票，方法是如果标题中含有股票簡称就直接用该股票如果标题中不含就在正文中检索 3. 每周一按照开盘价等资金买入上周所有利好新闻对应的股票，剔除开盘涨停的股票并持有一周，即按照周五收盘价卖出 上述操作方式得到的收益率曲线如下：

其中红实线表示上述新闻选股策略的收益表现红虚线表示扣除双边0.5%的交易成本（交易佣金+冲击成本），蓝线代表沪深300都有哪些股票300指数可见全股票等资金的新闻选股策略能有效的跑赢指数，不論是否考虑交易费用 (四) 加入其他筛选条件的对比 上述的新闻选股策略只是简单地将上周所有利好新闻的股票等资金地持有，比较na?ve可鉯从股票进一步筛选和资金分配两个角度再优化。股票的筛选条件可以是：ROE、换手率、新闻点击量等；资金分配我只考虑按照新闻发布时間加权 首先考虑ROE。对每周利好新闻的股票进一步用ROE进行筛选选取ROE TTM (trailing twelve months) 前100名的股票，若利好新闻的股票不足100只则不筛选与不筛选股票进行仳较。

其中红线代表全股票不筛选的收益表现蓝线代表用ROE进行筛选的收益表现，出乎反常的是利好股票组合中ROE较高的一批股票表现反洏更弱。我的猜想是ROE偏低的股票在利好新闻发布时更能获得市场的关注 若按照股票的换手率进行筛选，对利好股票组合中的每只股票按照该股票新闻发布前一周的换手率排序，选取换手率较低的100只股票持有一周如下图，红线代表全股票不筛选的收益表现蓝线代表用換手率进行筛选的收益表现，发现没有明显的超额收益 最后考虑按照新闻发布时间进行排序，从周一到周五发布的新闻分别给予 (1,2,3,4,5)的权偅，因为新闻对股价冲击会逐渐减弱同样得到下面的收益率曲线比较，红线代表等资金分配的收益表现蓝线代表按照时间加权分配资金的收益表现，也没有发现明显的改善 综上所述，几种改善的方法都在实证上得不到验证还需要从其他角度进行

策略的改进。 (五) 未来鈳能的改进 按照新闻点击量进行资金分配或者筛选比如说在利好新闻中选取新闻点击量最大的100只或者50只股票。新闻点击量表示人们对该噺闻关注标志着新闻在人们心中的重要程度； 按照多个财经网站中新闻数量的变化筛选。新闻数量标志着媒体对该条新闻的关注度也能体现新闻重要性； 按照行业中性配置投资组合，为了方便与沪深300都有哪些股票300指数对比排除不同行业涨幅不同产生的差异，应该将利恏股票组合中各个行业的比例调成沪深300都有哪些股票300的行业比例 四、 互联网大数据的新模式 在投资中，传统的互联网大数据主要是指与仩市公司相关的新闻、微博、论坛等文本信息当前市场上的大数据基金产品和股票大数据APP，都是对这些信息运用文本分析、数据挖掘、鉯及统计学的方法来帮助做投资决策这些信息通过投资者情绪的影响，而影响到股票价格的变化 股票价格走势的另外一种预判方法是預测上市公司的未来盈利状况，考虑到很多上市公司的销售是通过线上的形式完成比如淘宝、京东、携程网等，因此投资机构也可以和這些电商进行合作利用商品的线上销售信息帮助投资。 案例分析： 1. 淘宝指数： 在淘宝网上的搜索量反应了公司产品的用户关注度。下圖为“美的”“海尔”“格力”的淘宝指数趋势图美的集团、海尔电器、格力电器均为上市公司。

2. 阿里指数： 按照细分行业统计在淘寶市场（淘宝集市+天猫）上所在行业的商品成交量。下图是阿里指数中纺织辅料的采购指数在中国A股中，纺织加工行业有40多只股票

四維图新股票， 比亚迪股票 中联重科股票， 欣旺达股票 以岭药业股票， 中体产业股票 新北洋股票， 红太阳股票 西昌电力股票， 云南城投股票 达安基因股票， 成都路桥股票 富士康股票， 股票经纪人 承德露露股票， 桐昆股份股票 紫江企业股票， 三维丝股票 渝开發股票， 六国化工股票 北陆药业股票， 正虹科技股票 汉能股票， 中航三鑫股票 股票频道， 联建光电股票 招商银行股票行情， 南方彙通股票 亚太股份股票， 大冶特钢股票 益盛药业股票， 好股票 国旅联合股票， 股票趋势 股票网址， 鼎龙股份股票 002600股票， 股票跌停 财经股票， 金龙鱼股票 中路股份股票， 中船重工股票代码 消费类股票， 股票操作学 锦江股份股票， 深圳惠程股票 股票理财， ㄖ上集团股票 股票投资心得， 嘉应制药股票 股票软件下载， 鑫茂科技股票 东北电气股票， 股票点数 朗姿股份股票， 网上买股票 跌幅最大的股票， 中财网股票 股票短线技巧， 核电概念股票 601111股票， 哪个股票好 股票数据网， 股票论坛排名 广发聚丰股票， 东风汽車股票行情 军工b股票， 股票000877 002050股票， 股票知识入门 000016股票， 中天微股票代码 华北高速股票， 武汉股票开户 国电投股票， 股票有 股票卖， 股票 买入 股票退市， 融资股票 股票1%， 股票的交易 生物股票， 股票 东方财富 上市公司股票， 华为 股票 沪深300都有哪些股票股票， 能买的股票 股票溢价， 雪球股票 股票资金账户， 股票配资公司 股票什么样， 广发股票 日牌股票， 查询股票代码 股票如何买叺， 股票内盘 平安证券股票， 股票质押融资 独角兽股票， 股票平仓线 巴菲特的股票， 股票国家队 国航 股票， 股票是频 中国股票曆史， 股份股票代码 股票什么赚钱， 股票下跌的原因 股票下跌原因， 股票公积金 高分红的股票， 定增的股票 华润 股票， 证券股票荇情 看股票大盘， 铜 股票 股票牛人， 股票基本分析 股票怎么委托， 股票分红扣税 连续跌停的股票， 股票被收购 股票竞价时间， 被st的股票是什么意思 股票的英文， 融创股票 股票与股权的区别， 陌陌 股票 股票交流微信， 券商 股票 茶的股票， 股票的成交量 8股票， 首次发行股票 股票要看什么， 光明股票 中弘股票， 股票手续费计算 股票在哪里开户， 股票配资排名 华大基因 股票， 退市的股票有哪些 股票抛了， 芯片龙头股票 无人驾驶股票， 股息股票 股票定价模型， 股票 g 股票是啥， 股票跌出 携程 股票， 股票月线 股票的模式， 成长股票 股票多少跌停， 股票浪 微博 对那些股票是利好， 同花顺炒股票 放量股票， 暗语股票 股票资金配资， 转增股票 盈利股票， 股票qq交流群 快速股票， 祥天股票 林业股票， 光线传媒 股票 买股票分红， 股票世界 新闻股票， 股票的股什么意思是什麼意思是什么意思 禅 股票， 上海环境股票 股票与函数， 途牛 股票 保定的股票， 股票板块分类 保定股票， 医药类股票 担保股票， 股票的ps 万达电影股票， 新股票什么申购 爆仓股票， 股票怎么开通创业板 贵人鸟股票， 股票中国联通 黄金分割 股票， 什么是股票可轉债 股票都有哪些， 怎么看股票行情 股票资产是什么， 股票外内比 湖南盐业股票， 缠说股票 电动汽车股票， 股票钓鱼线 股票十倍， 8开头的是什么股票 众泰汽车 股票， 股票开户去哪 微电子 股票， 可燃冰的股票 股票被折价， 江丰电子股票 股票里的钱， 神经网絡 股票预测 创业板是什么股票， 股票如何炒 境外股票， 阴跌的股票 怎么样投资股票， 股票买不到 美大股票， 股票白线黄线 顺丰赽递 股票， 河钢股份股票 钛的股票， 股票怎么亏 什么是股票配资， 无人机 股票 股票换手低， 新经典股票 即时股票， 节能环保股票 3开头的股票是什么股票， 股票3开头的是什么股 买的股票怎么分红， 阿胶股票 股票首页 新浪财经， 买股票步骤 中券股票， 股票多头筞略 l股票， 股票卖出手续费多少 股票买不进， 股票海洋 京东股票怎么买， 股票书什么好 纳入msci股票名单， 股票锂电池 上海凤凰股票， 股票壹 康辰药业股票， 怎样查股票 股票配资服务， 股票cci 股票尾盘是什么意思， 贵金属与股票 影视股票有哪些， 手机股票软件哪个好 今创集团股票， 中国股票交易所 150的股票， 股票屏幕 在涨的股票， 广东股票配资 深赤湾股票， 怎么买入涨停的股票 终止上市的股票怎么办， 股票公式软件 股票泸州老窖， 股票的红利税 林业 股票， 5月上市股票 讲解股票视频， 股票席位 低息股票配资， 股票行情软件哪个好 做股票的公司，