大数据平台建设的必要性

在UBI产品的第一阶段，只借助外部静态数据及直接采集的里程等动态数据即可完成产品闭环，但如果要实施UBI产品的第二及第三阶段，则需要建立在动态数据的建模及分析之上，依据行驶时间，急加速次数，夜间行驶比例等多位数据设计UBI的定价因子，最后用年出险次数来检验输出（独立U/W因子）的可靠性，达到千人千费动态保险费率结果。

驾驶行为主要由车联网OBD产生数据，使用大数据处理技术，根据车主驾驶习惯，分析对车险费率厘定相关的驾驶行为影响因子，为车险费率厘定提供数据依据。

大数据处理技术含有不同的处理过程，展现大数据生命周期系统，大数据处理过程包括数据收集、存储、分析处理和预测等过程，大数据的声明周期提现了不同阶段，对数据实时不同的处理策略。

UBI大数据保险差异化的定价模式主要依据来自OBD。UBI即保费定价主要取决于车主的实际出行时间、行驶里程、车速与四急情况，车险保费精算模型，传统的保费计算模式进一步进行精确化和个性化，根据驾驶行为数据建立模型，判定车主安全级别，为基于UBI设定保费模型提供依据。

UBI大数据平台架构

数据源

车辆安装的OBD设备将OBD数据上传至车联网平台，并存储到车联网数据库，形成内部的静态和动态数据；外部数据包括保险公司的车辆及车主保单、理赔等信息，客户的违章信息及第三方征信等信息。

数据存储

数据处理包含数据预处理和数据存储两部分，数据预处理可以获取对车保险预测方案有价值的数据信息。通过对驾驶行为有关的数据解析，筛选出本文提出的 UBI系统所需的数据，如每日四急（急刹车、急加速、急减速、急转弯）次数、行驶里程、出行时间、车辆行驶速度等数据，然后对这些数据进行分类、合并，并存储到分布式数据库HBase中。

YARN（Yet Another Resource Negotiator）是布式集群的资源管理器。MapReduce1 架构是在整个集群上执行 Map 和 Reduce 任务并报告结果，但在大型集群时，当集群节点超过一定量时，就会出现级联故障，级联故障通过网络泛洪形式导致整个集群严重恶化。为了克服MapReduce1 的这种缺陷，采用 YARN 分层集群管理框架的技术，能使集群共享、可伸缩和更可靠。

Spark是一个基于内存计算的集群计算系统，它的核心概念是弹性分布式数据集（RDD，Resilient Distributed Datasets），一个 RDD代表一系列类型的对象。这些对象被分配或者分区到一个集群的多个节点上，类似一个进程里的多个线程上。Spark 的所有操作基于 RDD，RDD是容错的、并行的数据结构，当某个节点或者任务失败时，RDD 会在余下的节点上自动重建，以便任务可以最终完成。

数据服务

算力&建模框架

数据建模分析是针对预处理提取的数据特征，得到想要的结果。在数据提取后，常使用的是Spark算法。Spark常用的应用有 Spark SQL、Spark Streaming、MLLib、Graph等。Spark SQL使用RDD实现SQL查询；Spark Streaming流式计算，提供实时计算功能；GraphX图计算框架，实现了基本的图计算功能，常用图算法和pregel图编程框架；MLLib机器学习库，提供常用分类、聚类、回归、交叉检验等机器学习算法并行实现，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等算法，在MLlib里面已经存在，只需要将数据带入调用比较方便。

建模算法

在现有保险定价文献中，广义线性模型得到了广泛应用，但其对不同分布均有十分严格的假定。泊松分布要求被解释变量的均值与方差相等；负二项分布要求数据过离散，方差要大于均值。在索赔频次既定的条件下，各索赔频次间存在着有序的结构与分类，更适合运用有序分类的Logistic模型进行拟合。

数据应用

基于建模分析，可以实现上层数据应用，现阶段用于UBI的数据应用有：针对用户维度的用户画像；针对驾驶行为维度的驾驶行为分析；针对保费费率厘定维度的保费费率预测等。

大数据平台建设阶段

阶段	阶段名称	阶段内容	人员需求
1	基础设施建设	此阶段主要将服务器资源及基础设施中间件构建并调试完成	大数据架构师，大数据运维工程师
2	数据汇聚及预处理	此阶段主要将数据源数据汇聚到大数据平台，并对数据进行预处理	大数据架构师，数据产品经理，大数据工程师
3	数据建模及数据开发	此阶段为核心算法模型设计及开发测试	大数据架构师，数据产品经理，算法工程师，大数据工程师，精算师
4	大数据应用	此阶段主要针对开发的数据应用对接开发上层需求，以达到应用的落地，并根据实际运营结果对算法进行调优	大数据架构师，数据产品经理，算法工程师，大数据工程师