面向安全的大数据分析方法和思路

  培训讲师:骆飞

讲师背景:
骆飞老师北京邮电大学-移动互联网与信息化实验室-研究员;北京邮电大学-信息与通信工程学院-外聘讲师;网锐国家网络实验室-研究员;中国移动集团广东移动有限分公司特邀讲师;中国移动集团山东移动有限分公司特邀讲师。2006年中国移动通信集团光传输 详细>>

骆飞
    课程咨询电话:

面向安全的大数据分析方法和思路详细内容

面向安全的大数据分析方法和思路

**章 大数据分析概述

介绍大数据的概念和特征,面向安全的大数据分析的目的是希望从大数据中分析出异常行为或攻击事件,尤其是未知且未感知的攻击和异常。

1、大数据(Big data)的前世今生

假如我们有了一个数据预报台,就像为企业装上了一个GPS和雷达,企业的出海将会更有把握。——马云2012年网商大会演讲

2、大数据的4V特征

² 1V-Volume,数据体量巨大。从TB级别,跃升到PB级别

² 2V- Variety,数据类型繁多。网络日志、图片、视频、地理位置信息、购物等等

² 3V- Value,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅一两秒

² 4V- Velocity, 处理速度快。1秒定律。这一点和传统的data mining有着本质不同

3、大数据的价值

² 纵向:消费者、企业与价值链

² 横向:“大交易数据”(比如支付宝的交易数据)和“大交互数据”(比如一些社交网站,移动互联网新媒体等)

² 两类数据融合:容易洞察“客户足迹”,掌控消费趋势、开发创新产品和推进精确营销


第二章 适用于异常检测的大数据分析算法原理

1、经典统计方法

² 组合优化

² EM优化

2、聚类分析算法

例如,我们可以根据各个银行网点的储蓄量、人力资源状况、营业面积、特色功能、网点级别、所处功能区域等因素情况,将网点分为几个等级,再比较各银行之间不同等级网点数量对比状况。

² 直接聚类法

² 短距离聚类法

² 远距离聚类法

3、相似性分析算法

² 检测效率高

² 相似列表片段

4、关联分析算法

关联算法是数据挖掘中的一类重要算法。1993年,R.Agrawal等人首次提出了挖掘顾客交易数据中项目集间的关联规则问题,其核心是基于两阶段频繁集思想的递推算法。该关联规则在分类上属于单维、单层及布尔关联规则,典型的算法是Aprior算法。

5、分类算法

² 决策树

² 贝叶斯

² K-近邻

² 基于关联规则的分类

² 集成学习

6、文本分析

² (I)用映射或变换的方法把原始特征变换为较少的新特征。

² (2)从原始特征中挑选出一些具代表性的特征。

² (3)根据讲师的知识挑选有影响的特征。

² (4)用数学的方法进行选取,找出具分类信息的特征,这种方法是一种比较精确的方法,人为因素的干扰较少,尤其适合于文本自动分类挖掘系统的应用。

第三章  面向安全的大数据分析思路

1、可分析数据

² 可靠性数据分析

² 智能数据分析

² 多元统计分析

2、分析的过程

数据是信息的载体,也是今后系统要处理的主要对象。因此,必须对系统调查中所有搜集的数据以及统计处理数据的过程进行分析和整理。如有不清楚的问题,应立刻返回去弄清楚;如发现有数据不全、采集过程不合理、处理过程不畅、数据分析不深入等问题,应在本次分析过程中研究解决。

² 流动

² 变换

² 存贮

3、基于各种期待结果的分析场景

² 黑盒测试

² 测试用例

² 性能测试

总结课程总结


 

骆飞老师的其它课程

互联网思维和语音IP化应用(课程大纲)“互联网已经改变了音乐、游戏、媒体、零售和金额行业,未来互联网精神将改变每一个行业,传统行业即使还想不出怎么去结合互联网,也一定要具备互联网思维。”(马化腾)互联网思维是零距离、网络化的经营管理思维。互联网思维下,企业管理需要以更加灵活的组织应对复杂的环境。张瑞敏说,互联网时代的管理没有标杆,企业只有自己去寻求适合的管理

 讲师:骆飞详情


《5G移动通信技术发展方向及未来趋势分析》课程大纲【培训目标】5G移动通信技术作为目前最前沿的通信技术,是应2020年后通信技术发展需求而生的,目前该技术尚处于探索研究阶段。本课程从移动通信技术的发展历程展开分析,对5G移动通信技术的特点、优点及未来发展趋势等几方面出发进行概述,分析关键指标和技术,引领我国移动通信行业的新一轮变革。【培训对象】相关员工【培训

 讲师:骆飞详情


《5G移动通信技术发展方向及未来趋势分析》课程大纲【培训目标】5G移动通信技术作为目前最前沿的通信技术,是应2020年后通信技术发展需求而生的,目前该技术尚处于探索研究阶段。本课程从移动通信技术的发展历程展开分析,对5G移动通信技术的特点、优点及未来发展趋势等几方面出发进行概述,分析关键指标和技术,引领我国移动通信行业的新一轮变革。【培训对象】相关员工【培训

 讲师:骆飞详情


课程大纲:课程章节内容提要课程时间从概念到落地:智能家居与智慧家庭技术及应用概述智慧家庭/智能家居发展概述从数字化、信息化到智能化、智慧化概述未来城市及家庭的信息服务需求及趋势智能家居/智慧家庭概念模型规划设计基本建设思路解决方案总体架构描述应用+家庭云平台管+端互联网+信息通信+家庭生活传统电信运营的战略抉择(以中国电信为例)中国电信集团智慧家庭战略解读中

 讲师:骆飞详情


智慧家庭认证工程师①培训目标在“智慧家庭”的这一战场上,各个运营商都卯足了劲,战术各不相同。中国移动押宝“和·家庭”计划并推出“魔百和”系列产品。中国电信成立智慧家庭产业联盟并发布产品“悦me”、全新智能宽带电视“天翼高清”,为用户提供家庭信息化服务综合解决方案;中国联通发布“智慧沃家”业务,满足家庭的智能化信息需求。本课程以智慧家庭建设目前存在的四大挑战为

 讲师:骆飞详情


智慧家庭组网技术①培训目标本课程以电信运营商智慧家庭WLAN网络目前存在的四大挑战为切入点,重点介绍电信运营商电信级WLAN网络体系结构、核心平台以及标准技术体系、关键核心技术等内容,并进一步重点介绍WLAN网络规划方法、流程和重点工作,同时重点阐述WLAN网络优化基础技术与方法,WLAN重点优化内容以及实际案例。②大纲【培训对象】网优中心及地市公司WLAN

 讲师:骆飞详情


云原生架构与Devops运维课程定位与课程目标互联网行业的火爆让“敏捷”和“DevOps”的管理理念成为IT项目管理的主流。“敏捷”是快速响应需求变化,及时交付阶段性产出,达到让客户满意的一种软件开发管理模式。“DevOps”理念更是超越了项目管理方面的范畴,它关注的是IT企业各部门角色能够更好的交流和协作的文化变革。课程通过大量真实的案例,纵向对比国外流行

 讲师:骆飞详情


政企产品经理解决方案能力提升课程定位与课程目标2021年,世界飞速变化。以5G、大数据、云计算、人工智能为代表的新一轮科技革命和以数字化、信息化、智能化为标志的产业变革蓄势待发。新冠肺炎疫情的叠加影响,又使得数字经济的作用突显。后疫情时代,数字化转型将成为推动经济社会发展的新引擎。在新一轮数字化浪潮中,千行百业面临革新。作为中国领先的综合信息服务提供商,中国

 讲师:骆飞详情


智慧城市交付项目管理课程定位与课程目标2014年称为中国的智慧城市建设元年,在这一重要的时间节点上,有必要对智慧城市概念、技术和发展进行一次全方位的梳理与总结。从技术的角度,对智慧城市的概念出现、发展现状、总体技术框架、核心关键技术、标准与评估体系、运营与应用模式等方面,进行尽可能详细和系统的阐述与介绍。希望能够为读者提供一个智慧城市技术发展的全景式概览。目

 讲师:骆飞详情


云计算基础课程定位与课程目标云计算(cloudcomputing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。狭义云计算指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;

 讲师:骆飞详情


COPYRIGT @ 2001-2018 HTTP://WWW.QG68.CN INC. ALL RIGHTS RESERVED. 管理资源网 版权所有