大数据的巨大影响

大数据的巨大影响_数据分析师考试

如果将“数据化”视为信息社会的初级阶段,那么鲜为人知的英国科学家维克托·迈尔-勋伯格(Victor Mayer-schoenberg)以其新书《大数据时代》(The Age of Big Data)首次告诉我们,人类正在进入“数据颠覆传统”的信息社会中级阶段。

在这个阶段,信息无所不在,其无限膨胀的天文质量催生了“统计+分类-推理分析=决策”的计算机处理程序(有点像一步到位刷卡消费,省去了做账等繁琐环节),悄然挑战着“去粗取精、去伪存真、由表及里、由这个到那个”的传统认识论模式,潜移默化地影响着。

大数据点火

为了定期公布消费者价格指数CPI以监测通货膨胀率,美国政府雇佣大量人员对全美90个城市的商店和办公室进行电话和传真访问,并花费2.5亿美元收集8万种商品价格的延迟信息。然而,麻省理工学院的两位经济学家采用了“大数据”方案,通过一个软件每天在互联网上收集50万种商品价格的实时信息。2008年9月雷曼兄弟破产后,软件立即发现了通胀转为通缩的趋势,而官方数据直到11才发现。从那以后,该软件已经销往70多个国家。这个案例充分体现了“大数据”颠覆传统的力量和改变思维的智慧。

在“小数据”时代,我们追求精准,尽量避免不准确信息的误导和误判。然而,被传统数据库拒绝的95%的非结构化(非标准)数据在“大数据”时代的模糊数据库中发挥了重要作用,因为数据越模糊、越全面,就越能有效避免误导和误判。

从因果性到相关性的思维转变是“大数据”颠覆传统认识论模式的关键。毕竟计算机不是人脑,计算机永远不会理解气候和机票价格之间的因果关系。虽然公鸡打鸣和黎明没有因果关系,但古人很少通过公鸡打鸣预测不到黎明。如果数百万份病历显示,橙汁和阿司匹林的特定组合对癌症治疗有效,那么就没有必要通过反复实验来探究其具体的药理机制。“苹果之父”乔布斯主动尝试了一些有有效病历但没有临床证明可以抗癌的疗法。你可以嘲笑乔布斯“不讲科学”,但他却因此多活了好几年。

所谓“大数据挑战传统认识论”,从根本上说,其实是人类把复杂的认知过程全部“打包”给计算机,计算机懒得分析推理和验证。只有通过统计分类对比,才可以交出“最终答案”。大数据的本质是变“少而精”为“多而全”,“因果”为“关联”。当实地调研开始被数据收集取代,当严谨的实验开始被非线性逻辑取代,当“唯一真理”开始被多项选择取代,“大数据”用事实向人类宣告:“知其所以然,不知其所以然”,这不仅是计算机看人脑的劣势,也是计算机超越人脑的优势!

大数据渗透到整个世界

不要以为“大数据”只是科幻故事,或者是政府和科学家之间的“专利”。放眼望去,“大数据”早已渗透到我们生活工作的方方面面,催生了数据超市、数据易贝、数据交友、数据交友、数据工作坊、数据课堂、数据IB等各种传奇版本。从治安管理、交通运输、医疗卫生、商业贸易、批发零售、公益救助到政治、军事、经济、金融、社会、环境、文艺、体育。

自2000年以来,UPS国际快递公司一直通过“大数据”测试其遍布美国的6万辆卡车车队,统计所有磨损零件的生命周期,变“备份携带”为早期更换,有效防止中途故障带来的严重麻烦和巨大损失,每年节省数百万美元。UPS也依靠“大数据”优化行驶路线(比如尽量右转,避免左转)。2011年,该公司的车辆少跑了4828万公里,节省了300万加仑的燃油,减少了3万公吨的碳排放。

为纽约提供电力支持的爱迪生电力公司,以“大数据”统计出106种预警信号,预测出2009年可能发生事故的井盖,并严格监控。结果在十大高危井盖中,预测准确率达到44%。

美国里士满警方当局凭经验认定,枪击事件往往导致犯罪高峰。“大数据”证明,这一峰值往往出现在枪击事件发生后2周左右。2006年,孟菲斯市推出了“大数据”系统,锁定了犯罪更容易发生的地方和罪犯更容易被抓住的时间,从而使重大犯罪的发生率降低了26%。

2004年,沃尔玛依靠“大数据”,在飓风前夕发现各类销量增加的商品,然后在每次预测时及时设立飓风用品区,并在该区域附近放置手电筒、早餐零食和蛋挞,使“顺便购买”的销量大幅增加。

至于“大数据”的经济价值,只需要举几个例子:2006年,微软以1.1亿美元收购了位于Ezioni的Farecast公司,2008年,谷歌以7亿美元收购了为Farecast提供数据的ITA软件公司。同年在冰岛成立的DataMarket网站,单纯依靠收集和提供联合国、世界银行、欧盟统计局等权威机构的免费信息来盈利,包括倒卖各种研究机构公开发布的研究数据——只要找到买家,往往愿意出高价!

大数据创造大金融。

金融领域当然是“大数据”的主战场之一。程序化交易可能是当今“大数据”最重要的新武器。美国股市每天的交易量高达70亿股,但三分之二的交易量不是由人操作,而是由基于数学模型和算法的计算机程序自动完成的。千变万化的程序化交易,只能用海量数据来预测收益,降低风险。几乎所有的银行、券商、保险、期货、QFII、投资公司都开发了自己的程序化交易工具。谁的武器更先进?最终,恐怕竞争还是比谁收集和处理数据更大。

某投资基金通过统计商场周边停车场和路口的交通拥堵情况,预测商场的运营情况和当地的经济形势,进而预测相关股票价格的走势。最后它居然在有统计数据的商场里拿到了一些股份。

许多对冲基金通过在社交网站Twitter上收集市场情绪等信息来预测股市的表现。伦敦和加州的两家对冲基金利用“大数据”形成119颜文字和18864独立指数,向众多客户推广股市每一分钟的“动态表情”,如乐观、忧郁、冷静、恐慌、呆滞、恐惧、愤怒、愤慨等,从而帮助和驱动投资决策。

如今,金融机构竞相招揽客户进行理财。如果能及时收集、处理大量微博、微信、短信,自然能找到急于开户或打算匆匆“跳槽”的投资者。

当然,如果投资者可以通过“大数据”直接决策,将“信用卡消费”扩大为“信用卡投资”,那么《卧龙卧虎》的研究报告未来还有市场吗?

大数据隐藏着大隐患。

和所有新生事物一样,大数据是一把双刃剑。宏观上,“大数据”将人类虚拟化分为“数据”和不同领域的“数据”两大阵营。正在进行的棱镜门事件揭露了美国政府长期监控世界的“绝密”。然而,美国总统、国会和政府都承认这种监控是“自然的”和“维护国家核心利益的”。虽然社会早已建立了庞大的法律法规体系来保障个人信息的安全,但在“大数据”时代,这些体系正在成为一条坚不可摧、可以随意绕过的“马奇诺防线”。

“大数据”导致个人信息被交易,个人隐私被泄露。更大的危险是“个人行为被预测”。正如作者所预言的——“这些可以预测我们可能生病、拖欠还款甚至犯罪的算法程序,会让我们无法购买保险、无法获得贷款,甚至在犯罪前被提前逮捕”——也许你认为这对整个社会来说无疑是一件好事。但如果预报系统不完善,软硬件出错,数据采集处理不当,临时数据没有经过检验,黑客攻击,有人用恶意或善意的玩笑制造虚假信息...导致你、你的家人、你的亲友、你的单位甚至你的祖国受到委屈和制裁,你还能无动于衷吗?

微观上,即使是出于正当目的收集的“大数据”,在“扩张发展”的过程中,仍然可能产生难以想象的副作用。例如,谷歌的街景拍摄和GPS数据为卫星定位和自动驾驶提供了关键支持,但同时也因为帮助歹徒方便地选择有利目标而引起了许多国家民众的强烈抗议。当谷歌在图像背景上模糊了业主的房屋、花园等目标后,引起了更多小偷的注意。

无论你是惊讶还是害怕,欢迎还是回避,关注还是忽视,理解还是拒绝,“大数据”正以加速的步伐向我们走来。只有顺势而为,趋利避害,才能不被这个充满机遇和挑战的新时代提前淘汰。

以上是边肖为大家分享的关于大数据巨大影响的相关内容。更多信息可以关注全球常春藤分享更多干货。