典型的大数据分析包括以下步骤:
一、明确分析目的和思路
明确数据分析的目的和思路是保证数据分析过程有效的前提,可以为数据的收集、处理和分析提供明确的方向。目的是整个分析流程的起点。's目的的模糊会导致方向错误。即思考:为什么要进行数据分析,通过这个数据分析应该解决哪些问题?
目的明确后,需要理顺分析思路,构建分析框架,将分析目的分解为几个不同的分析点,即如何具体进行数据分析,分析哪些角度,采用哪些分析指标。
只有分析的目的明确了,才能确定分析框架,最后还要保证分析框架的系统性,使分析更有说服力。
系统化意味着逻辑化。简单来说,先分析什么,再分析什么,使得每个分析点都有逻辑联系。避免知道从哪里开始,分析的内容和指标是否被质疑为合理和完整。
所以系统化就是让你的分析框架有说服力。
要想将分析框架系统化,需要一些营销和管理理论来指导,并结合实际业务情况,以保证分析维度的完整性和分析结果的有效性和正确性。
例如,以用户行为理论为指导,互联网网页分析的指标框架如下:
与数据分析相关的营销和管理理论统称为数据分析方法论。比如用户行为理论、PEST分析、5W2H分析等等。
二、数据收集
数据收集是根据确定的数据分析框架收集相关数据的过程,为数据分析提供素材和依据。这里提到的数据包括一手数据和二手数据。一手资料主要是指可以直接获得的资料,二手资料主要是指经过加工整理后获得的资料。一般数据源主要有以下几种方式:
1、数据库:的每家公司都有自己的业务数据库,存储公司成立以来产生的相关业务数据。这个业务数据库是一个巨大的数据资源,需要有效利用。
可用于收集2、公开出版物:数据的公共出版物包括统计年鉴或报告,如《中国统计年鉴》 《中国社会统计年鉴》 《中国人口统计年鉴》 《世界经济年鉴》 《世界发展报告》 0103010。
随着互联网在3、互联网:,的发展,越来越多的数据发布在互联网上,尤其是搜索引擎可以帮助我们快速找到我们需要的数据。例如,国家和地方统计局、行业组织、政府机构、媒体和大型综合门户网站的网站可能都有我们需要的数据。
在分析4、市场调查:,的数据时,有必要了解用户的想法和需求,但通过以上三种方法很难获得这样的数据,所以我们可以尝试通过市场调查来收集用户的想法和需求数据。
三、数据处理
数据处理是指对收集到的数据进行处理和排序,形成适合数据分析的风格,这是数据分析必不可少的阶段。数据处理的基本目的是从大量杂乱无章、难以理解的数据中提取和推导出有价值、有意义的数据,用于解决问题。数据处理主要包括数据清洗、数据转换和数据提取
取、数据计算等处理方法。一般拿到手的数据都需要进行一定的处理才能用于后续的数据分析工作,即使再“干净”的原始数据也需要先进行一定的处理才能使用。数据处理是数据分析的基础。通过数据处理,将收集到的原始数据转换为可以分析的形式,并且保证数据的一致性和有效性。
四、数据分析
数据分析是指用适当的分析方法及工具,对处理过的数据进行分析,提取有价值的信息,形成有效结论的过程。由于数据分析多是通过软件来完成的,这就要求数据分析师不仅要掌握各种数据分析方法,还要熟悉数据分析软件的操作。
数据挖掘其实是一种高级的数据分析方法,就是从大量的数据中挖掘出有用的信息,它是根据用户的特定要求,从浩如烟海的数据中找出所需的信息,以满足用户的特定需求。数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。
一般来说,数据挖掘侧重解决四类数据分析问题:分类、聚类、关联和预测,重点在寻找模式和规律。
数据分析与数据挖掘的本质是一样的,都是从数据里面发现关于业务的知识。
五、数据展现
一般情况下,数据是通过表格和图形的方式来呈现的,我们常说用图表说话就是这个意思。
常用的数据图表包括饼图、柱形图、条形图、折线图、散点图、雷达图等,当然可以对这些图表进一步整理加工,使之变为我们所需要的图形,例如金字塔图、矩阵图、漏斗图等。
大多数情况下,人们更愿意接受图形这种数据展现方式,因为它能更加有效、直观地传递出分析所要表达的观点。记住,一般情况下,能用图说明问题的就不用表格,能用表格说明问题的就不要用文字。
(6)报告撰写
数据分析报告其实是对整个数据分析过程的一个总结与呈现。通过报告,把数据分析的起因、过程、结果及建议完整地呈现出来,供决策者参考。
一份好的数据分析报告,首先需要有一个好的分析框架,并且图文并茂,层次明晰,能够让阅读者一目了然。结构清晰、主次分明可以使阅读者正确理解报告内容;图文并茂,可以令数据更加生动活泼,提供视觉冲击力,有助于阅读者更形象、直观地看清楚问题和结论,从而产生思考。
另外,数据分析报告需要有明确的结论,没有明确结论的分析称不上分析,同时也失去了报告的意义,因为我们最初就是为寻找或者求证一个结论才进行分析的,所以千万不要舍本求末。
最后,好的分析报告一定要有建议或解决方案。作为决策者,需要的不仅仅是找出问题,更重要的是建议或解决方案,以便他们做决策时作参考。
所以,数据分析师不仅需要掌握数据分析方法,而且还要了解和熟悉业务,这样才能根据发现的业务问题,提出具有可行性的建议或解决方案。