典型行业大数据应用和安全风险和解决方案

安全大数据

网际空间安全面临的威胁越来越多样化。移动网络、云和虚拟化、物联网、工控系统等技术领域的快速发展，使得保护对象和攻击路径都变得更加复杂。而攻击来源也从早期的个人黑客变为犯罪团伙、政治势力、网络部队等更严密的组织。甚至大数据技术本身也被攻击者所利用。能够应对核威慑的，只有核威慑本身；能够应对大数据攻击技术的，也只有大数据安全技术。目前安全行业的大数据应用场景主要包括等几类：
（一）网络安全态势感知
近年来，网络安全事件层出不穷，传统安全防御措施很难及时、有效的发现安全威胁。这就需要依靠互联网的海量安全数据，解决网络安全监控的问题，通过大数据技术对这些安全要素信息进行分析，全面、精准的掌握网络安全状态，并以可视化的方式，向网络安全监管单位提供所属管辖范围内的实时感知，同时针对安全隐患提供通报等手段帮助监管单位完成安全监控的闭环，从而改变当前“黑客主动攻击、企业被动防御”的局面。
态势感知技术这一概念源于美国空军的研究，此后在核反应控制、空中交通监管及医疗应急调度等领域被广泛应用。在安全领域，该技术是指广泛采集和收集广域网中的安全状态和事件信息，并加以处理、分析和展现，从而明确当前网络的总体安全状况，为大范围的预警和响应提供决策支持的技术。态势感知技术主要是应对大范围广谱威胁，相关的技术包括海量异构数据分析、深度学习、网络综合度量指标、网络测绘、威胁情报、知识图谱、安全可视化等。
（二）高级持续威胁检测
高级持续性威胁具有精心伪装、定点攻击、长期潜伏、持续渗透等特点，已经成为网络犯罪和间谍活动的首选攻击方式。过去针对特定网络APT定向攻击的发现有两个难点：一是未知威胁分析过程缺少对历史数据的支持，难以进行回溯关联，遗漏了很多关键信息；二是缺少外部情报的来源，只依赖于自有的黑域名/黑IP库，检测的精度和效率都难以满足需求。采用大数据技术，从两方面搜集数据：一是来自于互联网威胁情报云平台的威胁情报数据，二是来自于本地运营商互联网出口监控到的网络流量数据。基于上述的海量安全数据，可以通过人工智能结合大数据知识以及攻击者的多个维度特征还原出攻击者的全貌，包括程序形态，不同编码风格和不同攻击原理的同源木马程序，恶意服务器等，通过全貌特征跟踪攻击者，持续地发现未知威胁。通过对云端大数据中提取的恶意域名、IP、主防库、样本库等信息进行关联分析，发现传统规则检测手段无法发现的未知威胁，实现攻击早期的快速发现。根据样本外连行为识别免杀木马，实现早期的快速发现。对未知威胁的网络行为，攻击源头进行精准定位，对远控木马等行为进行威胁的识别，最终达到对入侵途径及攻击者背景的研判与溯源。
（三）伪基站发现与追踪
伪基站是一种小型或微型的信号收发装置，和运营商的真实基站类似，能够获取周围的手机与基站的设备信息，通过模拟真实基站通信机制，迫使周围的手机连接到该仿冒的基站上，向普通用户发送垃圾短信，甚至冒用号码，群发诈骗信息。
采用大数据技术，则可以极大提高发现伪基站的能力和效率，并可以及时阻断诈骗短信中的钓鱼链接，打破诈骗链条。具体包括以下步骤：第一，通过手机用户举报垃圾短信，或者通过手机专业软件主动拦截并上报垃圾短信，大量收集伪基站短信中包含的时间、地点、内容、仿冒的基站号等各种信息；第二，在大数据处理平台中，运用自然语言处理与机器学习的方法，去掉大量的噪声点，从海量的垃圾短信中以较高的精度识别出伪基站短信；第三，将伪基站短信与经纬度信息结合，就可以发现并定位伪基站；结合伪基站的历史数据，可以进一步找到伪基站的活动规律，并以此对其运动轨迹进行预判；第四，与地理信息系统联动，展现伪基站位置、伪基站的行为、历史运行路径、数量分布等等信息，从而帮助执法部门的抓捕活动。
（四）反钓鱼攻击
钓鱼攻击是一种利用社会工程学手段，伪装在线金融或交易平台的网站，针对客户个人身份数据和金融账号进行盗窃的犯罪行为。近些年来，钓鱼攻击相关的网银欺诈案件使得用户蒙受巨大的经济损失，也严重影响了银行业金融机构的声誉。据中国反钓鱼网站联盟发布的统计数据，在 2015 年 9 月，处理的钓鱼网站达 1531 个，涉及淘宝网、工商银行、平安银行、建设银行四家单位的钓鱼网站总量占全部举报量的 98.56%。据《 2014 年中国网络购物安全报告》报告：在 2014 年，包括钓鱼攻击、恶意代码在内的安全威胁，给国内网购用户带来了超过 300 亿的损失。
发现钓鱼网站，需要利用搜索引擎扫描相关互联网址，并通过大数据建模过滤掉可信页面与重复页面，筛选出有嫌疑的钓鱼网址页面，将这些页面输入到分析引擎中；用户也可以进行举报，将钓鱼网址上报到分析引擎的数据库中。分析引擎通过规则模型综合研判、机器学习等方式检测出钓鱼网址和页面。将发现的钓鱼网站和网页汇集成为网址信誉库，金融机构可以把具有欺诈性的URL信息提到这个信誉库中，其中的信息就是是否拦截网页访问的依据。各终端访问钓鱼网站时，通过与云关联的终端软件，提示并阻止用户的访问行为。

电子政务大数据

各政务部门在开展业务的过程中积累了大量数据，通过对政务大数据进行开发、利用、挖掘，能够为政府提供智能办公、智能监管、智能服务、智能决策等大数据服务，提高政府办公、监管、服务、决策的智能化水平，推动社会治理体系和治理能力现代化。通过将各级政务部门数据资源的汇集，实现政务数据的融合互通，并对大量的多源异构数据融合进行大数据综合分析、挖掘，帮助政府将现有的数据资源转化创造价值，能够实现政务大数据在城市规划、建设、管理等方面的综合应用。
（一）资源共享与政务协同
利用大数据技术整合各类政务信息资源、共享政务数据，提高行政效率、提升公共服务水平。构建大数据平台对接金税、金质、金盾、金卡、公共卫生系统等相关部门信息系统，实现跨部门、跨行业、跨平台的数据交换，同时可以基于国家、省级等数据中心建设，实现政务数据资源汇聚、共享，消除“数据割据”、“信息孤岛”，促使政务活动更加开放、透明，有效改善政府内部、政府部门之间，以及政府与其他管理主体之间的协同管理，提高政府与企业、政府与社会公众之间的政务协同和公共服务能力等。
（二）决策管理
利用大数据技术为政务决策提供支持，开展在政府应急决策管理、公共突发卫生事件决策、公共交通指挥决策、综合社会管理决策、环境污染保护决策等方面预测预警作用，能提升行政效率、优化社会公共服务。推动电子政务与城市管理、经济发展、民众保障、公共服务等多方面的深度融合，提供涵盖水电煤气、城建规划、交通物流、金融投资、教育就业、社保民生、旅游文化等行业领域的服务。
（三）精准扶贫
利用大数据精准确定对象，通过运用大数据技术，可以为政府建立起电子政务大数据信息的共享和交换平台，将上报的贫困户信息与民政、人社、银行、工商、车管、编办等部门的数据进行比对，为扶贫有关决策提供支持；同时，通过大数据对比和分析，对民政、人社、银行等信息进行综合分析，可以找出致贫原因，精准确定出谁是真正的贫困户，为精准帮扶提供依据。
（四）数据管税
利用大数据技术比对国土、人社、房产、车管等部门数据，通过互联网采集、大数据分析企业用水、用工、用电等数据，能够杜绝逃税漏税现象发生，实现税务数据的最大整合、涉税数据的互联互通、风险管理的全程监控。通过大数据共享平台，建立完善政府各部门数据共享机制，为各部门提供数据服务，用“大数据”发现问题、分析问题、解决问题，让“数据说话”、“综合治理”，提升政府决策分析水平，提高政府综合服务能力。
（五）智慧党建
目前，党员流动问题、底数不清、管理乏力、服务滞后等问题在农村特别严重，基本上年轻的党员都在外地，这就对党员管理就带来挑战，传统的党员管理手段，已经不能满足现在需求。通过构建智慧党建平台，采集和汇聚党员数据和信息，可以清晰的看到党组织分布情况、党支部性质、结构，以及党员的基本信息，利用大数据技术，可以分析和展现流动党员的具体位置、联络员、帮扶人员等情况，实现对党员的精准管理，构建全方位、立体式的党建工作体系。
政务大数据覆盖行业范围广泛、数据结构多样、关联关系复杂，而且涉及大量个人隐私数据、国家敏感数据等重要数据，因此在开展政务大数据应用的同时，数据和平台安全尤为重要。电子政务大数据面临的安全风险和挑战主要包括：
1）平台安全
大数据平台是政府使用数据资源的基础平台，平台安全是保障政府安全可靠利用数据资源的基础。大数据平台除了面临传统的恶意代码、攻击软件套件、物理损坏与丢失等安全威胁外，由于自身架构要根据政府业务需求和安全要求变化不断改进，因而产生传统的身份认证、数据加密手段适用性问题。
2）服务安全
构建基于互联网的一体化公共服务平台，面向公众提供基于大数据的便民服务，是落实国家推进国家治理体系和治理能力现代化、建设服务型政府要求的重要任务。基于互联网建设的政务在线服务窗口，是政务大数据为社会公众服务的重要组成部分，便捷的互联网应用环境下，在提质增优公共服务的同时也为便民服务带来严峻的安全挑战，需要应对基于 We b的攻击、Web 应用程序攻击/注入攻击、拒绝服务攻击、网络钓鱼、用户身份盗窃等威胁，抵御信息泄露、网络瘫痪、服务中断等安全风险。
3）数据安全
各部门在开展业务和对政务大数据进行开发利用的同时，数据自身安全非常重要，涉及数据生命周期各阶段相关的数据采集、数据传输、数据存储、数据处理、数据交换、数据销毁等活动。政府部门数据公开、行业间以及行业内部数据平台化共享时的数据安全，是迫切需要解决的问题，是大数据资源实现开放共享、相关“数据掘金”应用得以发展的关键。
4）数据确权问题
政务数据的所有权、使用权、管理权涉及多个部门，特别是政府授权社会资本方搭建的公共服务系统所产生的数据，涉及个人隐私、国家经济命脉，在进行大数据分析中，必须做到权责分明，厘清数据权属关系，防止数据流通过程中的非法使用，保障数据安全流通。但是，目前数据权属仍缺乏法律支撑，数据使用尤其跨境流动所产生的安全风险日益凸显。
5）APT 攻击防御
APT是黑客针对客户所发动的网络攻击和侵袭行为，是一种蓄谋已久的“恶意网络间谍威胁”。这种行为往往经过长期的经营与策划，并具备高度的隐蔽性。APT攻击以窃取核心资料为目的，对政府部门大数据应用产生重大安全威胁，因此必须在政务大数据中高度防范此类攻击。

健康医疗大数据

作为典型的实践科学，医学中有很多知识来源于经验积累。而目前经验积累的最直接、客观的体现就是“数据”。因此，利用健康医疗过程中产生的海量数据，开发其潜在价值，使其助力健康医疗事业的发展，成为医疗行业、技术研发领域等相关有识之士共同努力的目标。
（一）医学研究效率提升
中国作为世界上病例数最多的国家，为医生科研提供了天然的优势条件，但传统的数据存储方式，使得病例数据的收集成为科研最大的障碍。基于整合后的医疗大数据，利用大数据分析及搜索引擎技术可以有效延展研究范围和深度，帮助医生开展过去难以开展的研究领域：临床科研应用、跨医疗机构间的多中心联合研究、专科专病数据挖掘积累及研究，提升科研质量和效率。
（二）医院管理提效提能
解决医院管理数据质量差、口径杂、系统多、方法少等情况导致的医院管理者无法详细了解医院运营情况的问题，能为医疗机构职能部门提供日常指标的快捷多维度分析功能，提升管理人员的宏观洞察力。
（三）健康医疗生态良性发展
基于清洗挖掘后的标准化医疗大数据，还可以提供更多应用服务，如临床辅助决策服务（CDSS）、精准保险服务、药品研发等，大数据可助其节省研发成本、缩短研发周期、节省营销成本、提升营销精准率。
健康医疗大数据在促进业务发展的同时，面临的安全挑战主要表现在：
1）数据权属不清。健康医疗大数据起源于个人患者本身，那么数据权属到底是属于个人、还是产生数据的医疗机构一直没有定论；另外，第三方机构在原始数据基础上挖掘延伸出的新数据，其归属权也没有明确规定。
2）应用复杂性高。目前各地区和机构在进行健康医疗领域信息化建设时大都根据自身需求建立独立的信息系统，这些信息系统架构各异、数据格式不同，导致数据在安全共享、交换和处理时的复杂度大幅提升。
3）个人隐私保护难。健康医疗数据中包含特别敏感的个人隐私信息，必须依法进行管控和保护；对涉及健康医疗数据的管理要以相应的法律法规做指导，在进行健康医疗数据的收集、存储、挖掘等应用时，需要解决个人隐私保护的难题。

电商行业大数据

电商行业作为基于互联网技术衍生的新型业务，积累了大量商家数据、买家数据、商品数据，以及在买卖交易过程中产生的订单数据、交易数据和用户行为数据等。借助大数据技术发展契机，电商行业也开始了大数据时代的转型。电商行业基于长期积累的海量数据，开始在不同业务方向利用大数据技术分析、挖掘数据价值。
（一）精细化运营及管理
通过对电商数据分析和利用，改进电商业务运营模式，实现业务精细化的运营及管理，包括业务分析、业务智能化、精细化营销、风险管理和运营效率等方面。例如在营销方面，能够通过对以往的营销数据分析，最大化的利用数据资源建立适用的营销方案，并及时通过营销反馈数据的收集和分析，反作用于营销方案的改进工作；在风险管理方面，通过建立实时响应的风险监控系统，对电商业务流中的数据与风险大数据进行关联分析，更好地识别和控制业务风险。
（二）提升业务效率
通过对电商行业中的业务数据进行大数据分析，作用于电商企业的产品设计、绩效管理、配送效率、库存管理和客户关系管理等关键环节，提升业务能力和效率。例如，通过对历史销售数据进行大数据分析，结合后期的产业环境，商家可以预测销售数据，进而优化物流和仓储；通过客户大数据分析，物流企业能够更合理的选择派送方式、优选路径，并提供差异化服务，提高物流服务质量等。
（三）改进消费体验
电商企业通过对消费者数据的分析可以产生如消费者“画像”等衍生数据。企业基于这些衍生数据，可以为消费者提供个性化的服务，如个性化商品推荐、个性化搜索以及智能机器人客服等服务，提升消费体验。
（四）保障生态圈良性发展
电商业务的生态圈涉及电商业务平台、商家、消费者、为商家提供服务的独立软件提供商，以及相关服务机构等众多合法参与者，但也存在着诸如诈骗组织和炒信团伙之类的谋求非法利益的黑灰产组织。电商行业可利用大数据技术精准识别风险，打击炒信、欺诈和侵权等恶意行为，促进电商生态的良性发展。
电商行业大数据在促进业务发展的同时，相应的安全挑战也随之浮现，主要表现在：
1）数据权属不清
电商业务的开展主要包括电商平台、商家和消费者三方，电商业务产生的数据如何划分其所有权、控制权和使用权，是在电商业务中合理使用数据的前提。当前电商业务的大数据应用中，通常利用电商平台对数据进行分析，也存在商家或商家授权独立软件提供商使用商家数据进行分析的情况，在权利归属不明确的情况下，责任的归属也难以界定，相关数据安全难以保障。
2）大数据聚合分析风险
电商业务的大数据应用涉及对消费者相关的数据分析，虽然可以通过隐私保护政策、用户授权协议的形式获取相关数据的使用合法授权，而且在对电商业务分析的过程中也会采用匿名化处理的方式，保证用户的个人信息安全。但是，在对大数据加工计算的过程中，如何保障不会因为大数据的聚合分析而实现“去匿名化”，依然是亟待解决的难题。
3）数据版权保护
电商生态圈内的数据流动和共享较为普遍，目前主要通过法律协议方式约束对数据的使用。但由于缺乏有效的数据版权保护技术手段及措施，难以甄别是否存在超出范围的数据扩散或使用问题。
4）数据跨境安全
目前国家大力支持跨境电商业务，而跨境电商业务必然涉及数据的跨境问题。不同国家和地区的数据保护法规对数据跨境流动的要求存在差异性，比如俄罗斯明确提出俄罗斯公民的数据应在俄罗斯境内更新后方可传到海外进行处理；欧盟则扩大了数据保护法律适用的管辖范围。这些法规将给跨境电商企业带来高昂的合规成本，制约了跨境电子商务的发展。如何处理数据跨境安全合规与跨境电商战略发展的矛盾，是亟待解决的难题。

电信行业大数据

电信运营商拥有大量的数据资源，如网络信息、用户终端信息、用户位置信息等，同时电信行业近年来利用大数据进行深度挖掘分析，将丰富的网络、用户等数据资源加工抽取后封装为服务，向客户提供。可拓展的大数据应用服务主要为内部支撑、社会服务、商业运营等几大类，典型应用主要包括：
（一）运营商内部支撑
运营商利用大数据技术，改善服务水平，提升用户体验。根据网络流量变化、网络信令数据信息和各个设备长期运行情况，运营商利用大数据分析，可以及时调整资源配置，进行全网络优化，提升网络质量和网络利用率；可以监控服务质量，改进突发故障自动应对机制；还可以通过分析不同用户群流量使用特征以及存量用户流量趋势，按需提供不同的流量服务，实现流量经营。
（二）社会服务支撑
运营商利用大数据技术，对其拥有的各种数据进行深度挖掘，根据不同行业客户的业务特点，提供城市规划与交通线网规划、路网状态实时监测与公共交通调度、信息验真服务、公共区域安全监测等不同的社会服务支撑信息服务，如基于移动蜂窝网络产生的位置信息，为政府公共管理、城市规划、交通规划提供数据，为零售商提供人群分布、流向、热点等信息。
（三）商业运营支撑
运营商利用大数据技术，基于用户终端信息、用户基础数据、订购产品及行为数据等，可以生成用户基础数据特征与兴趣特征模型，进而预测客户行为，进行程序化广告投放，实现精准营销。还可以通过用户画像进行产品与推广的规划，以个性化、精准型的业务内容不断增强客户黏性。大数据给电信行业带来新的发展机遇，电信运营商借助已有的数据积累优势，不断发展大数据应用，但同时数据的集中管理、数据对外开放等新技术特点和业务新形态应用，也使电信行业大数据面临新的安全风险和挑战，主要包括：
1）供应链安全
通信数据在移动网络设备中产生，而这些设备是由多家供应商提供。同时，存在大数据平台系统第三方供给代建设、代维护等问题，在特定阶段，部分设备的操作权在供应商手中，这意味着供应链的各环节存在安全风险。
2）数据集中管理
在大数据业务应用发展的驱动下，电信运营商的数据由原来的各系统分散存储转变为大数据平台集中存储模式，大数据资源的安全风险更加集中，一旦发生安全事件将涉及海量客户信息及公司数据资产。
3）平台组件开源
大数据平台多使用开源软件，这些软件设计初衷主要考虑高效数据处理，缺乏安全性保障，滞后于电信业务发展的安全防护能力，存在安全隐患。
4）敏感数据共享
在电信运营商内部信息系统建设相对分散，敏感数据跨部门、跨系统共享留存比较常见，其中一旦存在系统安全防护措施不当，均可能发生敏感数据泄漏，造成“一点突破、全网皆失”的严重后果。

大数据相关国家标准
GB/T 38664.1-2020 信息技术大数据政务数据开放共享第1部分：总则
GB/T 38664.2-2020 信息技术大数据政务数据开放共享第2部分：基本要求
GB/T 38664.3-2020 信息技术大数据政务数据开放共享第3部分：开放程度评价