2 IPTV QoE关键指标选择

1 . 一种基于数据挖掘的 IPTV QoE 评价方法 2016 年 10 月 报告人： 李良 

2 .目录 1 问题和背景 2 IPTV QoE 关键指标选择 3 IPTV QoE 评价模型 4 实验验证 2 

3 .1 问题和背景 I. 电信、移动、广电等运营商均基于宽带 IP （ Internet Protocol ，网际网协议）网开展了大规模 IPTV 业务 II.大面积 IPTV 质量投诉，用户对 IPTV 的服务质量满意度下 降，宽带运营商难以先于用户投诉发现 IPTV 质量劣化现象，难 研究 以预警投诉并提前处置 对象 和问 题 III. IPTV 业务在日常运行中，积累了海量的指标数据难以发挥应 有价值。需要获取每个 IPTV 客户在使用业务过程中感受到的质 量（感知质量， Quality of experience, QoE ），以实现投 诉预防、预检预修。 IV.需要有效的 IPTV QoE 计算方法 3 3 

4 .1 问题和背景 QoE 评价方法 传统评价方法 基于数据挖掘的 评价方法 QoE 指标选取 完 部 QoE 评价模型 无 分析 全 分 参 参 参 考 考 考 评 评 评 价 价 价 主 相 因 回 成 关 AHP 子 归 分 性 层次 分 分 分 分 分析 析 析 析 析 法） 法 法 法 法 

5 .目录 1 问题和背景 2 IPTV QoE 关键指标选择 3 IPTV QoE 评价模型 4 实验验证 5 

6 .2 IPTV QoE 关键指标选择 IPTV 原始指标 指标分类 指标集合 比特率、帧率、视频压缩率、容错能力、复杂度 视频编码 、分辨率 服务平台 最大并发数、平均响应时间 承载网 丢包率、抖动、时延、掉线率、连通率 终端 CPU 利用率、内存利用率 业务 延迟因素 DF 、媒体丢包速率 MLR 6 6 

7 .2 IPTV QoE 关键指标选择 步骤一：首先采用因子分析法来对指标变量进行分析，也就是对这些指标变量进行 KMO 检验， KMO 检验的目的是判断是否有必要对这些指标变量进行因子分析。    X  E X  Y  EY 2 n r i  j ij r i 1 i i KMO   r   i  j aij 2 2 2 2   X i  E  X    Yi  E  Y  n n i  j ij i 1 i 1   丢包率 抖动 时延 掉线率 0.10 0.01 丢包率 1.000 0.124  IPTV 承载网络 QoE 参数的 KMO 值为 2 4 1.00 0.21 0.83 抖动 0.102 0.301 0 0  IPTV 视频 QoE 参数的 KMO 值为 0.78 0.21 1.00 时延 0.014 0.140 0 0  用户终端性能 QoE 参数的 KMO 为 0.80 0.30 0.14 掉线率 0.124 1.000 1 0 7 7 

8 .2 IPTV QoE 关键指标选择 步骤二：采用主成分分析法对这些指标集进行降维，使原本存在相关性的指标变成不存在相关性 的指标，从而降低指标数目。 主成分分析（ Principal components analysis, PCA ）  0.025 50 240 30 70  1.094 1.705 1.502 1.602 -1.602  1.200 0.564 0.554 0.192 -0.192  0.019 74  0.564 1.084 -1.084 40 224 26  -0.365 0.692 0.847 0.748 -0.748    1.200 1.168  0.018 35 210 24 76  -0.608 0.186 0.273 0.320 -0.320 A=   D  R   0.554 1.168 1.200 1.106 -1.106  0.026 28 198 19 81  1.337 -0.523 -0.219 -0.748 0.748    0.021 26 176 16 84  0.122 -0.726 -1.120 -1.388 1.388  0.192 1.084 1.106 1.200 -1.200      -0.192  0.014 20 172 20 80  -1.580 -1.334 -1.284 -0.534 0.534 -1.084 -1.106 -1.200 1.200 Cont=λ/(i 1+ 2  + 6) 主成分 特征值 方差贡献率 累积贡献率 1 3.735 0.5133 0.5133 选取前三个主成分的累积贡献率达到 2 1.174 0.1613 0.6746 84.12% ，而两个主成分的累积贡献率只有 67.46% ，所以选择前三个主成分 3 1.213 0.1667 0.8412 

9 .2 IPTV QoE 关键指标选择 步骤二：采用主成分分析法对这些指标集进行降维，使原本存在相关性的指标变成不存在相关性 的指标，从而降低指标数目。 第一主成分 第二主成分 第三主成分 指标 第一特征向量 指标 第二特征向量 指标 第三特征向量 丢包率 3.363 抖动 4.012 时延 3.102 抖动 1.012 时延 1.109 掉线率 1.054 时延 1.132 丢包率 -1.018 抖动 -1.065 掉线率 -0.076 掉线率 -0.182 丢包率 -0.168 所以得到影响第一主成分的指标为丢包率，影响第二主成分的指标为抖动，影响第三主成 分的指标为时延，最后得到影响 IPTV 承载网络 QoE 参数的指标为丢包率、抖动和时延。 同理可获得其他类型的主成分指标 

10 .2 IPTV QoE 关键指标选择 步骤三：通过步骤二得到了三类指标里所有的关键指标，但这些指标还不一定能完全反映用户 体验质量 QoE ，因为还不确定这些指标对 QoE 是否有影响。继续采用 Pearson 相关系数来对这 些指标与 QoE 之间的关系进行分析，以确定这些指标是否为是影响 QoE 的关键指标。 MOS 值为通过大量电话回   MOS 丢包率 抖动 时延 访获得的用户主观评分结 果，取值范围 0-5 ，代表了 IPTV 用户的真实感受，作 MOS 1.000 -0.623 -0.767 -0.698 为对 IPTV 指标的相关性检 验依据。 丢包率 -0.623 1.000 0.228 0.070 根据 pearson 相关系数与相 关性的关系，可以看出 抖动 -0.767 0.228 1.000 0.480 IPTV 承载网络中各指标与 MOS 值之间是显著相关， 而各指标之间是低相关或者 时延 -0.698 0.070 0.480 1.000 中等相关，说明降维后得到 的指标是符合要求的 

11 .目录 1 问题和背景 2 IPTV QoE 关键指标选择 3 IPTV QoE 评价模型 4 实验验证 11 

12 .3 IPTV QoE 评价模型 SMOS  mos  u   MOS  N ,V   SMOS 为希望获得的 IPTV QoE 值，值的范围 是 0 到 5 之间的实数；  mos(u) 为用户终端性能 QoE 参数的体验质量 拟合后的评价值，值的范围是 0 到 1 之间的实 数；  而 MOS( N ,V ) 是对 IPTV 视频 QoE 参数和 IPTV 承载网络 QoE 参数的体验质量进行拟合 后得到的评价值，值的范围是 0 到 5 之间的实 数。 12 12 

13 .3 IPTV QoE 评价模型 1. 明确回归方程中哪些是自变量与因变量： 通过上述 QoE 评价模型可知：只需要求 出 MOS( N ,V ) 和 mos(u) 的回归方程就可 a1  a2 FR  a3 ln  BR  MOS  N ,V  = 1  b1  PLR b2  b3  Jitter b4  b5  Delay  以得到完整的关于指标与 QoE 之间的回 1b4  归方程，因此本节的回归方程有两个，因 变量分别是 MOS( N ,V ) 和 mos(u) ，而自 变量则分别是他们各自对应的相应指标。 2. 明确回归模型：回归方程的构建涉及多指 c1  r 2  c2  r  c3 标问题，也就是每个因变量对应多个指 mos (u )  标，不能简单的通过画出离散点来实现函 r 2  c4  r  c5 数拟合，本节采用的方法是先通过分析上 面相关性分析法得到指标与因变量之间的 n     关系，然后根据专家经验来建立回归模 型。  yi  y  SSR i 1   2 R =  n 3. 确定参数系数：根据上一步得到的回归方 程、指标数据和 QoE 值，通过在实验条 SST  yi  y i 1   件下进行仿真实验，得到回归方程中各个 参数所对应的系数，从而得到一个明确而 完整的回归方程。 

14 .目录 1 问题和背景 2 IPTV QoE 关键指标选择 3 IPTV QoE 评价模型 4 实验验证 14 

15 .4 实验验证 1. 利用某市运营商用户针对直播和点播的真实 IPTV 指标数据，采用本文方法进行拟合评 分，利用这部分用户的电话回访数据（用户主观评分）计算本文拟合算法的拟合优度 值。 视频 a1 a2 a3 b1 b2 拟合优度 直播 4.4520 -0.0065 0.078 7.033 1.912 93.04% 点播 3.352 -0.0073 0.112 9.982 0.957 90.82%  不同的 IPTV 业务的指标参数不一样，造成这个结果的原因是选择的两个视频在时间与 空间信息上所包含的数据量本身就不一样，也就意味着它们各自对 IPTV 质量的影响不 同，所以也就导致它们对丢包率、比特率、帧率等参数的相关性不一样；  所设计的拟合回归函数可以很好的反映指标与 QoE 之间的关系，通过上面的拟合优度值 与残差平方和可以看出，不同的视频采用本论文设计的评价模型得到的拟合回归函数的 拟合优度值均大于 90% ，且残差平方和均小于 0.04 ，说明此拟合回归函数能较好反映 用户真实体验。 15 15 

16 .4 实验验证 2. 利用某省运营商全部用户 3 天内真实 IPTV 指标数据，采用本文方法对每个用户进行拟合 评分，并计算每个用户 3 日平均分，采用不同的阈值进行质量预警，然后利用 3 日内全 省 IPTV 投诉记录进行实际预警命中率验证。 ① 利用全省所有 IPTV 用户连续 3 预警评分阈 天的 IPTV 运行数据，对所有用 命中人数 命中率 值 户进行 QoE 评分，并计算 3 日 80 1599 66.35% 内平均分。指标样本记录共计 75 1301 53.98% 超过 4 千万条。 70 1168 48.46% 65 1040 43.15% ② 分别按照不同的评分阈值，对 60 936 38.84% 用户进行质量预警，提取多个 55 830 34.44% 50 783 32.49% 阈值的 QoE 预警清单。 45 661 27.43% 40 629 26.10% ③ 提取 3 日内所有 IPTV 质量类投 诉记录，作为投诉清单，共计 2410 人。 采用本文设计的评价模型，在设定触发预 警评分阈值为 80 分时， QoE 预警清单对 ④ 对比 QoE 预警清单针对投诉清 投诉清单的命中率为 66.35% ，即：本文方 单的命中率，验证本文 QoE 评 法可有效预警 60% 以上的投诉用户。 价模型的有效性。 16 16 

17 .谢谢