从《Python数据分析案例教程》中_领悟数据和Python的魅力_1.5 数据分析的过程

【摘要】 本书摘自《Python数据分析案例教程》一书中第1章，第5节，由万念斌、肖伟东、叶丰标编著。

1.5 数据分析的过程

数据分析过程的主要活动由问题定义、收集数据、数据预处理、分析数据、评价并改进数 据分析的有效性组成

1.5.1 问题定义

数据分析总是开始于要解决的问题，而这个问题需要事先定义。问题定义阶段主要工 作是识别信息需求，即要明确需要解决的问题，明确数据分析的目的，不要偏离数据分析的 方向，确保工作有效进行。识别信息需求是管理者的职责，管理者应根据决策和过程控制的 需求提出数据分析的需求。需求是数据分析的开始，也是数据分析的目标方向。要做到清 晰地确定需求，需要具备对业务、产品、需求背景有比较深的理解，理解得越全面越好判断 需求。

1.5.2 收集数据

按照确定的数据分析目的来收集相关数据至关重要，是确保数据分析过程有效的基础， 它为数据分析提供依据。

数据获取的来源一般有四个渠道：企事业单位数据库、互联网、市场调查、公开出版物或政府公开数据资源。从企事业单位数据库服务器获取的数据是企事业业务相关性最强的数 据，真实高效；从互联网上爬取的数据一般资源丰富，但存在垃圾数据且数据结构较乱，有数 据缺失等各种问题，需要进行数据清洗、转换处理；通过市场调查获取的数据比较客观；通过 公开出版物或政府公开数据资源获得的数据，其权威性和真实性较强，是比较理想的数据。

1.5.3 数据预处理

.数据预处理有时也称为数据准备，在数据分析的所有过程中，数据预处理虽然看上去不 太可能出问题，但事实上，这一过程需要投入更多的资源和时间才能完成。收集的数据往往 来自不同的数据源，有着不同的表现形式和格式，因此在分析数据之前，所有这些不同的数 据都要经过数据清洗、数据集成、数据变换、数据规约等处理。经过数据预处理后的数据就 可进行分析了。

1.5.4 分析数据

分析数据是将收集的数据通过加工、整理和分析，使其转化为信息。最基本的数据分析 方法有平均分析法、比较(对比)分析法、漏斗分析法、数据矩阵分析法、交叉分析法、杜邦分 析法、分组分析法。

(1)平均分析法：利用平均指标对社会经济现象进行分析，分为数值平均数、位置平均数 (众数、中位数)。它的作用是可以比较同类企业、产品、服务标准之间的本质性差距；分析数 据之间相互依存的关系；对企业中的某产品在不同时间进行水平比较，说明产品的发展趋势 和规律。尤其是与对比分析法相结合，发挥的效果最好，

(2)比较分析法：将客观的事物进行对比，认识事物的本质和规律，进而判断优劣。通常 是将两个或两个以上的同类数据进行比较，包括横向比较和纵向比较。纵向比较是对同一 事物不同时期的特征进行比较，从而认识事物的过去、现在、未来；横向比较是对不同地区、 时期的同类事物进行比较，找出差距，判断优劣。

(3)漏斗分析法：直观易懂，体现访客在业务中的转化和流失率，例如网站转化率漏 斗图。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们 [email protected] 处理，核实后本网站将在24小时内删除侵权内容。