leyu乐鱼棋牌:荆林波: 大数据的由来与作为
2024-05-02 05:02:36 | 来源:乐鱼手机登录网址| 作者:乐鱼在线登录

  关于大数据有何特征?能否凭借大数据技能完结方案经济?为了整理此问题,咱们有必要对什么是大数据、大数据能够做什么,以及大数据是否能够进行微观经济调控等问题予以逐一答复,特别是探讨了国家办理的未来方向。

  内容提要:关于大数据有何特征?能否凭借大数据技能完结方案经济?为了整理此问题,咱们有必要对什么是大数据、大数据能够做什么,以及大数据是否能够进行微观经济调控等问题予以逐一答复,特别是探讨了国家办理的未来方向。

  1980年,美国闻名未来学家阿尔文·托夫勒在《第三次浪潮》一书中将大数据以为是“第三次浪潮的华彩乐章”。虽然其时人们并没有意识到它是怎样华彩,可是,这被看作是榜首次提及“大数据”。而到了2001年,美国格特纳公司(Gartner Group)的剖析师道格拉斯·兰尼(Douglas Laney)初次从大数据特征的视点对其进行了相对清晰的界说,他着重大数据有必要具有3V特征,即容量大、多样化和速度快(Volume,Variety, Velocity)。

  2008年9月,《天然》杂志推出了名为“大数据”的封面专栏。2009年开端“大数据”成为互联网技能职业中的抢手词汇。2010年,全球闻名咨询公司麦肯锡办理咨询公司提出了“大数据年代现已到来”,把大数据推到一个高潮阶段。麦肯锡在研究陈述中指出,“数据现已渗透到每一个职业和事务功能范畴,逐渐成为重要的出产要素,而人们关于海量数据的运用将预示着新一波出产率添加和顾客盈利浪潮的到来”。

  2012年国际经济论坛上发布的一份题为《大数据,大影响》(Big Data, Big Impact)的陈述声称,数据现已成为一种新的经济财物类别,就像钱银或黄金相同。之后,而大数据的特征也从开始的“3V”变成“6V+1C”。即数据体量大(Volume),类型多样化(Variety),处理速度快(Velocity),运用价值大而价值密度低(Value),数据获取与发送的方法自在灵敏(Vender),精确性(Veracity)以及处理和剖析难度十分大(Complexity)。[2]可是,一般来说,人们习气选用维克托·迈尔﹒舍恩伯格和肯尼斯·克耶编写的《大数据年代》中的提法,以用4个“V”打头的词(Volume,Variety,Velocity,Value)来描绘大数据的特征。

  从TB等级,跃升到PB等级,乃至ZB等级。到现在,人类出产的全部印刷资料的数据量是200PB(1PB=1024TB),而前史上全人类说过的全部的线PB)。当时,典型个人核算机硬盘的容量为TB量级,而一些大企业的数据量现已挨近EB量级。再比方,3年前,国内淘宝大约有3.7亿会员,产品是8.8亿,每天买卖近1000万笔,每天会发生20TB数据,运算的数据量到达2PB。2011年Facebook现已有6亿用户,现在这个数字现已变成9亿了,每个月这些人上传相片10亿张,每天发生300TB的数据。

  自人类有史以来,咱们所发生的信息量为50亿GB,而曩昔三年所发生的数据量比以往4万年的数据量还要多。2010年全球的数据量现已到达1.2ZB,到2020年将暴增近30倍,到达35ZB。这儿1ZB=1024EB=1048576PB=1073741824TB,而35个ZB等于TB,也便是说全球大约需求376亿个1TB硬盘来存储数据!而严酷的现实情况是,60%创造的数据会因为没有办法存储而丢掉,这就对存储功率提出一个新的应战。

  跟着云存储的呈现,存储问题随之得以处理。30年前,存储1TB也便是约1000GB数据的本钱大约是16亿美元,而存储到云上只需不到100美元。可是,假如仅仅是存储数据,而不以云核算进行数据发掘和数据剖析,那么,数据仍然是数据,没有太大价值。2

  包含网络日志、视频、图片、地理位置信息等,物物相相连形成了人与物、物与人、物与物之间的信息交流,这些构成了信息的源头。社交性、属地性与移动性以SoLoMo(Social + Local + Mobile)的移动互联网运用得以完结,手机扮演着极其重要的人物,经过手机发生的文字、相片、视频、音频、地理信息、速度信息等每时每刻都能够成为记载的依据,随时随地能够经过微博发送与他人同享。五年前,在我国微博中三分之一是用手机发送的,而QQ上一半的信息是经过手机发送的。现在,更多的是微信在快速传达。腾讯公司发布的《2016微信年度日子陈述》陈述显现,微信有7.68亿活泼用户,这个数字比美国人口的两倍还要多。这些活泼用户每天在微信上进行的音视频通线

  Velocity)假如咱们要处理FACEBOOK每天新发生的300TB的数据,假定每秒钟扫描50兆,需求105000分钟,用1000台机器干这个事能够缩到105分钟,这阐明这么大的数据只能用多机散布并行的方法处理,才能够有用地紧缩时刻。因而,依据1秒规律,速度决议全部,这一点和传统的数据发掘技能有着本质的不同。怎样能够加速海量数据核算的速度,怎样在

  866亿的网页中,经过这些数据的剖析,知道方针顾客在什么地方。与此一同,网络的反应速度也成为咱们重视的焦点。网络的带宽及反应速度直接影响到企业的功率乃至竞赛的胜败。信息的流转管道经过不同的传输标准相互传递:光纤、铜缆、蓝牙、NFC、WiFi、2G/3G乃至4G。传统的以E-Mail运用的笔直网络构架显着现已不适合现在Web2.0年代的需求。

  三分之一的企业领导者常常依据他们不信任或许不齐备的信息进行决议方案,二分之一的企业领导者诉苦自己无法获得展开本职工作所需的信息,60%的首席执行官需求愈加有用的信息决议方案系统,80%的首席信息官将“事务智能和剖析”作为远景规划的一部分,以此进步竞赛力。依据IDC猜测,咱们看到2010年全球大数据以及相关的硬件、软件和服务商场,大约是30亿美元以上的商场,而咱们在2015年整个商场将超越170亿美元,平均添加速度每年超越50%。总归,大数据的这些特征,昭示着咱们正在进入的这个年代,有许多新的应战,也有许多潜在的时机,可是,怎样作为呢?咱们需求仔细剖析。

  年首届西湖品学大数据峰会上,小微金服集团首席危险官胡晓明并没有针对金融范畴详谈大数据运用,而是同享了对大数据的微观考虑。他发现大数据带来四个巨大改动,其间,最大的一个革新是:当数据呈现今后,商场经济和方案经济之间,哪个是对的,哪个是错的?在亚当斯密或许金融学这个年代,是没有数据的,没有人的行为数据,没有社会的数据,没有资金流的数据。可是,今天有了数据今后,许多经济学的一些根底理论乃至或许会被批改,本来咱们全部的商业行为傍边,都是先出产或许先制作才会有出售行为,但今天有了互联网,咱们发生了先有出售行为,才会有制作行为,它会影响到整个供应链。2016

  11月19日,由浙商总会和上海市浙江商会联合举行的“2016国际浙商上海论坛暨上海市浙江商会建立三十周年大会”上,马云就在发言中说:“马克思主义讲到的商场经济和方案经济究竟哪个好?我以为这个观念咱们曩昔的一百多年来一向觉得商场经济十分之好,我个人观念未来三十年会发生很大的改动,方案经济将会越来越大。为什么?因为数据的获取,咱们对一个国家商场这只无形的手有或许被咱们发现。中医的医生在没有发现X光和CT机之前咱们是没办法把肚子翻开来看一看,所以中医的号脉,望、闻、问、切形成了一种共同的指挥系统,可是X光和CT机出来今后,发生了翻天覆地,信任数据年代咱们对国家和国际的经济、数据清晰的把握,就像对国际经济咱们将会有一个X光机和CT机,所以30年今后将会有新的理论出来。”在

  年我国国际大数据工业博览会的“机器智能”顶峰对话会上,马云在讲演中说:“上一年我提了一个观念,我说因为大数据年代的呈现,咱们对方案经济和商场经济将进行从头界说,咱们在曩昔的五六十年,咱们以为商场经济要比方案经济好许多。但我个人觉得,未来三十年,商场经济和方案经济将会被从头界说。我这个观念在国内得到了许多的经济学家共同批判,咱们觉得我是胡言乱语。这儿我自己先告知咱们,我指的方案经济不是苏联那个时候的方案经济,也不是我国刚开端的方案经济。方案经济和商场经济最大的差异是,商场经济有一只无形的手,我想问咱们,假如这只无形的手你能摸到,你乐意做方案吗?在大数据年代,特别是万物互联的年代,人类获得数据的才能远远超越咱们幻想,人类获得对数据进行从头处理以及处理速度的才能也远远超越咱们,不管是AI也好,MI也好,咱们对国际的知道将会进步到一个新的高度。所以,我想阐明的一个问题,因为大数据让商场变得愈加聪明。因为大数据,让方案和预判成为了或许。”为此,许多网站与学者对马云的观念提出了批判。比方,凤凰网的谈论是:“马云的方案经济思想,是理性的自傲。”再比方,吴敬琏、钱颖一、张维迎等也对此提出了批判:“方案经济的本质是企图用有形之手代替无形之手,这样的测验,在此前的苏联和其他国家的社会主义试验中现已遭受挫折。以某一个详细的项目实践而论,人类过往的前史证明,相似马云这样,企图以科学技能的开展,继续线性的前进来拟定方案,改进人类情况的项目遍及遭受了失利。马云能够用大数据为阿里巴巴拟定方案,可是,民众不需求被大数据拟定的方案经济包含其间

  在大团体年代,它现已给我国人留下了过于苦楚的痕迹和伤痕。所以说有了大数据就能搞方案经济,这个说法是十分可笑的。有人以为,大数据的呈现或许会使方案经济从头变得可行,这完全是过错的。(二)大数据年代,咱们有必要有所作为

  大数据年代的降临,好像人们一会儿都告别了曩昔的“小数据年代”,假如您以为自己,要在大数据年代“撸起袖子大干”,那么,就有必要了解咱们能够做什么。

  。从上面的剖析,咱们能够清楚地知道到:大数据虽然看上去很美,可是,咱们间隔大数据还很远,或许说咱们大多数人或许地点的组织,并不具有把握大数据的才能。铁道部2011年末推出的在线订票系统,选用的系统是当今最先进的系统,但当春运顶峰期间,几亿人一同拜访时,网站全部服务都陷入了瘫痪。或许,这是咱们经历过的最典型的大数据事例。此外,咱们面临着非结构化数据的添加。

  依据信息的结构类型,能够把信息分为三种:结构化信息、半结构化信息与非结构化信息。所谓结构化信息是指经过剖析后可分解成多个相互相关组成部分的信息,各组成部分间有清晰的层次结构,咱们一般触摸的,包含出产、事务、买卖、客户信息等方面的记载都归于结构化信息。所谓非结构化信息是指咱们一般无法直接知道他的内容,数据库也只能将它保存在一个BLOB字段中,包含全部格局的工作文档、文本、图片、XML、HTML、各类报表、图画和音频/视频信息等,它需求高档剖析东西来创立或运用一种更易于人们感知和交互的结构。所谓半结构化信息是介于结构化信息与非结构化信息之间的信息,以内容为根底,如专业网站上的细分频道,其标题和正文的语法适当标准,要害词的规模适当限制,能够用于查找,这是IT的第2次浪潮,包含电子邮件,文字处理文件以及很多保存和发布在网络上的信息。它一般是自描绘的,数据的结构和内容混在一同,没有显着的区别。

  当今,数据的内容不只越来越多,而且结构已发生了极大改动,非结构化信息快速添加。企业80%的数据对错结构化或半结构化的,结构化数据仅有20%。而且全球结构化数据添加速度约为32%,而非结构化数据增速高达63%。也有专家以为,90%的信息和常识在“结构化”国际之外,IT运用中还存在着一个“非结构化”的国际。[5]

  。依据IDC估量,因为核算机技能前进的继续推进,2011年企业创造、收集、贮存和办理信息的本钱现已下降到2005年的六分之一,而同期企业关于数据的总出资自2005年以来却反而上升了百分之五十。也便是说,数据发生本钱大约每两年下降一半,而这一趋势,最起码会继续到2015年。数据发生本钱的下降和添加的出资规模,终究导致了全球数据增速契合“大数据摩尔规律”,与之相匹配的现象便是全球数据存储才能添加明显。此外,有必要加大相关人力资本的出资。依据麦肯锡全球研究所(

  )2011年发布的一份陈述,估计美国到2018年需求14万名到19万名具有“深度剖析”特长的工作者,以及150万名通晓数据的经理人。由此可见,全球对数据剖析才能人才的渴求。第三,充沛运用数据丈量,剖析顾客行为

  。麻省理工学院斯隆办理学院的经济学教授埃里克·布吕诺尔夫松(ErikBrynjolfsson)从前指出,数据丈量就适当所以现代版的显微镜。显微镜是在四个世纪曾经创造的,能让人们看到曾经历来都无法看到的事物并在细胞的层面上进行丈量。比方,Twitter音讯、Facebook帖子和谷歌查找使得对人们行为和心情的细节化丈量成为或许。谷歌上住宅相关查找查询量的添加或削减的趋势能愈加精确地猜测未来一个季度中的住宅商场走势。为此,有必要立异信息处理技能,工信部发布的物联网“十二五”规划上,把信息处理技能作为

  项要害技能立异工程之一提出来,其间包含了海量数据存储、数据发掘、图画视频智能剖析等。而别的3项要害技能立异工程,包含信息感知技能、信息传输技能、信息安全技能,也都与“大数据”密切相关。当然,大数据年代,咱们有必要习惯革新,不断立异

  。比方,传统的网络结构设计是以客户端向服务器宣布恳求,由服务器应对把成果反馈给客户的笔直结构。而在大数据年代,这种笔直结构日益被水平结构所代替,很多的数据存储在不同地域、各种类型的服务器中。当客户宣布一个查询恳求时,最多的运算是服务器之间的信息交流,最终将成果反馈给客户,也便是说,新一代网络架构要习惯Web2.0年代的水平服务运用。再比方,Facebook近9亿人实名制的客户形成了巨大的网络社区,并使得信息充沛同享,将来能够经过查找引擎让资金需求和供应进行有序摆放,经过云核算和资讯系统的完善,确认危险成交的价格,每个人手里有一个移动终端,都能够在手上完结上述各类现在的银职事务,由此可见,此类立异对传统的银职事务将带来巨大的冲击。第四,大数据与推进国家办理现代化

  。十八届三中全会公报指出“全面深化革新的总方针是完善和开展我国特色社会主义准则,推进国家办理系统和办理才能现代化。”在党的十八届五中全会上,中心决议施行“国家大数据战略”。2015年8月31日,国务院印发《促进大数据开展举动大纲》清晰提出:“大数据成为推进经济转型开展的新动力;大数据成为重塑国家竞赛优势的新机遇;大数据成为进步政府办理才能的新途径。”短短2个月后,党的中心全会进一步把国务院“大数据开展举动”进步到“国家大数据战略”层面。特别是,2017年12月8日中心政治局就施行国家大数据战略进行第2次团体学习。习在掌管学习时着重:“大数据开展一日千里,咱们应该审时度势、精心策划、超前布局、力求自动,深化了解大数据开展现状和趋势及其对经济社会开展的影响,剖析我国大数据开展获得的成果和存在的问题,推进施行国家大数据战略,加速完善数字根底设施,推进数据资源整合和敞开同享,保证数据安全,加速建造数字我国,更好服务我国经济社会开展和人民日子改进”。而大数据技能可否推进一个国家办理现代化呢?一份职业陈述显现,英国政府经过高效的运用公共大数据的技能每年能够节省

  亿英镑,适当于英国人每人每年节省500英镑(约每人每年节省5000人民币)。而在我国,要推进国家办理现代化,需求跨过的门槛首先是政府敞开数据的问题。

  国外提出的政府敞开数据的准则,着重的是民众对数据的“知情权”,即完整性;原始性;及时性;可获取性;可处理性;非歧视性;非专有性(Non-proprietary):不受独家操控;非答应性(License-free):数据不受任何版权、专利、商标或商业秘密操控。[7]

  也便是说,同享数据应以大众需求为导向的。数据敞开的“目录”不是挂号政府现有的数据,而是要依照大众的实际需求编写“目录”,按需求归档。美国在政府信息化建造中坚持“以大众需求为导向”的理念,美国联邦政府在电子政务建造中提出了“让人们点击3次鼠标把工作办完”的标语,削减企业或老百姓与政府部门打交道的时刻和本钱,使大众真实成为政府信息化主角,促进政府从内部进行革新,完结全民政府的抱负,大众的需求将成为未来政府信息化开展的原动力。德国政府提出“让数据而不是公民跑路”等标语,都充沛体现了“以人为本”的服务理念。习着重,要运用大数据进步国家办理现代化水平,要建立健全大数据辅佐科学决议方案和社会办理的机制,推进政府办理和社会办理形式立异,完结政府决议方案科学化、社会办理精准化、公共服务高效化。正如总理所着重的,社会信誉系统建造包含政务诚信、商务诚信、社会诚信的建造,而政务诚信是“三大诚信”系统建造的中心,政府一诺千金,才能为企业经营做出杰出演示,更有利于推进社会诚信进步。作为商场监督和办理者,政府应首战之地推进政务揭露,建造诚信政府。为此,国务院经过《社会信誉系统建造规划大纲(2014—2020年)》,要求依法揭露在行政办理中把握的信誉信息,进步决议方案透明度,以政务诚信演示引领全社会诚信建造。

  总归,咱们新技能革命必将促进我国政府功能改变。假如咱们认同以互联网、大数据、云技能、人工智能为代表的这次技能革命是新的出产力,那么,出产力决议出产关系,经济根底决议上层建筑,这场新技能革命必定将推进上层建筑的重构。

  榜首,政府从曩昔的信息优势位置逐渐改变为下风位置。曩昔政府有关部门把握了很多的数据与信息,当今,海量的数据、碎片化的数据被渠道数据公司所操控。

  第二,政府调控经济的手法由曩昔高度集权、会集有用逐渐变成涣散、低效的状况,从某种程度上讲,现在政府调控经济的手法比较有限,在有限的手法里边,怎样进步政府的调控功率,则显得更为重要。

  第三,政府要进行决议方案的门槛在进步。曩昔靠拍脑袋决议方案的方法怎样过渡到科学决议方案,政府的决议方案水平有待进步,以习惯日益杂乱的经济环境,要求政府逐渐从“政务揭露”逐渐走向“敞开数据”,尤其是政府部门要“精准核算”、“协同同享”。

  声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间服务。

上一篇:大数据的来源 下一篇:通讯大数据行程卡怎样弄?查询办法汇总
  • 电话:0351-7028907
  • 服务电话:4006026858
  • 地址:山西省太原市小店区高新街9号瑞杰科技B座8层