CDA I 级备考之 PART 1

PART 1 数据分析概述与职业操守（占比3%）

个人想法：对于一级考试，分值不高，可以花点零散时间查看相关文章文献，获取相关知识点；对于职业规划，还是理解这一部分。

1. 数据分析概念、方法论、角色（占比1%）

1.1 数据分析基本概念（数据分析、数据挖掘、大数据）：

数据分析（Data Analysis）：是以数据为分析对象，以探索数据内的有用信息为主要途径，以解决业务需求为最终目标，包含业务理解、数据采集、数据清洗、数据探索、数据可视化、数据建模、模型结果可视化、分析结果的业务应用等步骤在内的一整套分析流程。

【数据分析_百度百科】：数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

数据挖掘（Data Mining）：是一个跨学科的计算机科学分支，它是用人工智能、机器学习、统计学和数据库的交叉方法在相对较大型的数据集中发现模式的计算过程。

【百度解读】：数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

1.2 数据分析⽬标的意义、过程及其本质

可以认为数据分析涉及到公司运营的⽅⽅⾯⾯，这包括对企业部⻔经营情况的评估、内部员⼯的管理、⽣产流程的监管、产品结构优化与新产品开发、财务成本优化、市场结构的分析和客户关系的管理。其中，关于客户与市场的数据分析是“重头戏”。下⾯以客户全⽣命周期管理为例介绍数据分析运⽤场景和挖掘主题，如下图所示。

1.3 方法论：

1.3.1 CRISP-DM方法论：

将数据挖掘项目生命周期分为6个阶段，它们分别是

业务理解
数据理解
数据准备
建模
模型评估
模型发布

下面简短介绍各个阶段的要点。

业务理解：从商业角度理解项目的目标和要求，通过理论分析转化为数据挖掘可操作的问题，指定实现目标的初步计划。

数据理解：开始于原始数据的收集，然后是熟悉数据、标明数据质量问题、探索对数据的初步理解、发觉有趣的子集以形成对探索关系的假设。

数据准备：包括所有从原始的、未加工的数据构造数据挖掘所需信息的活动。数据准备任务可能被实施多次，而且没有任何规定的顺序。这些任务的主要目的是从源系统根据维度分析的要求，获取所需要的信息，需要对数据进行转换和清洗。

建模：主要是选择和应用各种建模技术，同时对它们的参数进行校准，以达到最优值。通常对同一个数据挖掘问题类型，会有多种建模技术。

模型评估：在模型最后发布前，根据商业目标评估模型和检查建立模型的各个步骤。此阶段关键目的是，判断是否存在一些重要的商业问题仍未得到充分考虑。

模型发布：模型完成后，由模型使用者（客户）根据当时背景和目标完成情况，决定如何在现场使用模型。

1.3.2 SEMMA方法论：

对CRISP-DM方法中的数据准备和建模环节进行了拓展。

5个步骤中的主要任务：

数据整理：涉及数据采集、数据合并与抽样的操作，目的是为了构造分析用到的数据。分析人员根据维度分析获得的结果作为整理数据的依据，将散落在公司内部与外部的数据进行整合。
样本探索：主要任务是对数据质量的探索。变量质量方面涉及如下几方面：

这部分的探索主要解决变量是错误时是否可以修改、是否可以使用的问题。

变量修改：根据探索的结论，需要对数据质量问题和变量分布情况分别作变量修改。数据质量问题的修改涉及改正错误编码、缺失值填补、单位统一等操作。变量分布情况的修改涉及函数转换和标准化方法。

建模：根据分析的目的选取合适的模型。这部分内容在“数据分析方法分类介绍”已经作了详细的阐述。

模型检验：这里指模型的样本内验证，即使用历史数据对模型表现的优劣进行评估。比如：对有监督学习会使用ROC曲线和提升度等技术指标评估模型的预测能力。

1.4 数据分析的不同角色与职责：

业务问题是需求，最终需要转换成统计或数据挖掘等问题，⽤数据分析的思路来解决，因此数据分析师在业务与数据间起到协调作⽤，是业务问题能否成功转换成统计问题的关键。通常来说，业务问题需要⼀个或多个字段来表达，这些字段以什么形式出现（如测量级别），因为字段的形式会决定选择的⽅法，⽽每种⽅法⼜⽤于解决特定的需求，此外由于模型对业务⼈员或企业⾼管来说可能过于专业，因此需要将模型输出通俗的表达出来。所以协调者、数据分析师、报告⼈的⻆⾊，决定了数据分析师是⼀名（精通数理和软件的）综合型⼈才。

2. 数据分析师职业道德与行为准则（占比1%）

第一条坚持诚信、公平、尊重、敬业的原则，以符合一般公民素质与职业道德的要求对待所属行业领域的公众、用户、客户、雇主、同事以及其他同行参与者。
第二条遵守由国家、政府、监管组织颁布的各项法律法规，遵守所在机构制定的员工制度或业务规范，遵法守纪，严于律己。
第三条维护所在机构及企业客户的品牌形象和口碑，维护数据科学应用领域及相关行业的声誉，忠于职守，勤勉尽责，保护机构的合法利益。
第四条将数据产权、用户利益和机构利益置于个人利益之上，保护数据资产的安全性，遵循数据的真实性、可靠性，禁止技术欺诈、数据造假、非法交易，损害用户和机构利益。
第五条保持和加强自身职业道德操守以及同行的操守。不参与任何违法行为，包括但不限于：偷窃、欺骗、腐败、挪用或贿赂；不使用或滥用他人的产权，包括数据资产、知识产权；不参与诽谤和侮辱；不宽恕或帮助他人参与违法行为。

第一条遵照并履行所在机构的业务制度与规范。具有诚信、严谨、积极的职业态度，保持独立、客观、专业的分析判断，能根据业务要求做出有计划、有评估、可实施的报告或决策，实事求是，言行一致，精益求精。
第二条保守商业机密与维护机构利益。不得从事与机构利益相冲突的第二职业，不得涉嫌盗卖、泄漏、欺诈或舞弊的专业行为，或做出与数据分析相背离的行为；保守企业的商业秘密、数据隐私和知识产权。
第三条保护数据资产与尊重数据产权。不得未经同意使用他人产权、获取其他机构数据、交易数据等违法行为；不得捏造虚假数据，篡改数据、使用不具代表性的样本数据；不得为了完成任务或达成某项目的而有损专业名誉。
第四条专业、审慎、高效完善各项业务流程。
（一）保证数据的合法性、时效性、全面性。全面了解业务背景、痛点、需求，做出分析建议，与团队充分沟通，确定合理的业务指标，获取符合要求的源数据。
（二）保持工具与算法的前沿性、适用性、高效性。根据业务需要，选择合理的工具、平台、系统及算法，保障数据的高效处理与建模分析。
（三）不断迭代并优化业务指标与数据模型，使研究结果更具解释性，预测性、可行性。
（四）撰写专业可视化报告，逻辑清晰展示项目成果，并做出具有商业价值的建议。
第五条尊重契约完整交付分析结果。遵守合同、协议、补充说明、任务制度等相关约定，按时按质交付工作成果，并对相关数据、代码、结果进行保密。不得随意变更约定内容，不得拖延、敷衍工作结果，不得私下收取其他额外费用。
第六条履行后期义务与责任。完整交付结果后，对客户须进行后期解答、咨询、维护等服务；对机构业务须进行后期跟进、优化、指导建议等工作；善于自我总结、反思、提升。
第七条维护专业与行业声誉。自觉保持数据相关专业、岗位的专业性，维护机构、客户所在企业与行业声誉，维护CDA数据分析师证书名誉。不得从事任何有损数据相关岗位、机构、行业及CDA品牌声誉与诚信的行为；不得曲解或夸大数据科学、机构行业、CDA证书的意义或含意。
第八条关注时事自我提升。秉承开放、创新、分享理念，勇于分享，敢于创新，与时俱进。须关注数据科学的最新研究结果、时事，了解不同领域工具与算法的变化、更新，了解行业最新产品、前沿应用，并保持自身技能的不断提升。
第九条肩负使命，创造与传播。怀有用数据改变社会的信仰，坚守CDA职业道德与行为准则，肩负普及、推广、传播数据科学知识的使命，勇于试错、突破、创造，将数据科学价值发挥至全球各行各业。
第十条 CDA职业道德与行为准则由CDA数据分析研究院、CDA考试中心负责解释。此准则自发布之日起施行。
详情如下：

3. 大数据立法、安全、隐私（占比1%）

《2018中国大数据法治发展报告》发布 | 报告 | 数据观 | 中国大数据产业观察_大数据门户 (cbdio.com)
欧盟《通用数据保护条例》（GDPR）实务指引（全文版） - 信息安全_CIO时代网 - CIO时代—新技术、新商业、新管理 (ciotimes.com)

另外可参考如下文献了解国内数据立法相关情况：
①[1]田维琳.公共大数据信息安全立法的内涵、现状与依据[J].河南社会科学,2018,26(07):86-91.
②江波,张亚男.大数据语境下的个人信息合理使用原则[J].交大法学,2018(03):108-121.
③刁胜先,郑浩.大数据战略视野下我国信息网络安全立法分析[J].重庆邮电大学学报(社会科学版),2018,30(01):20-28.
④高国梁.大数据信息安全立法应秉持哪些原则[J].人民论坛,2018(34):104-105.

参考资料：

CDA I 级备考之 PART 1
CDA I 级备考之 PART 2
其他待续～