联合采用熵权和灰色系统理论的电力大数据质量综合评估

doi:10.3969/j.issn.1000－7229.2016.12.003

电力建设 ›› 2016, Vol. 37 ›› Issue (12): 24-.doi: 10.3969/j.issn.1000－7229.2016.12.003

联合采用熵权和灰色系统理论的电力大数据质量综合评估

李刚1，焦亚菲1，刘福炎2，俞敏2，宋雨1，文福拴3, 4

李刚(1980)，男，博士，副教授，本文通信作者，主要从事电力信息物理融合系统、计算机仿真技术等方面的研究工作；
焦亚菲(1990)，女，硕士研究生，主要从事大数据分析与处理等方面的研究工作；

刘福炎(1984)，男，硕士，工程师，主要从事电力技术经济、投资评价分析等方面的研究工作；

俞敏(1968)，女，高级工程师，造价工程师，主要从事电网工程技术经济等方面的研究工作；

宋雨(1958)，男，教授，主要从事软件工程方面的研究工作；

文福拴(1965)，男，教授，博士生导师，主要从事电力系统故障诊断与系统恢复、电力经济与电力市场、智能电网与电动汽车等方面的研究工作。

出版日期:2016-12-01
作者简介:李刚(1980)，男，博士，副教授，本文通信作者，主要从事电力信息物理融合系统、计算机仿真技术等方面的研究工作；焦亚菲(1990)，女，硕士研究生，主要从事大数据分析与处理等方面的研究工作；刘福炎(1984)，男，硕士，工程师，主要从事电力技术经济、投资评价分析等方面的研究工作；俞敏(1968)，女，高级工程师，造价工程师，主要从事电网工程技术经济等方面的研究工作；宋雨(1958)，男，教授，主要从事软件工程方面的研究工作；文福拴(1965)，男，教授，博士生导师，主要从事电力系统故障诊断与系统恢复、电力经济与电力市场、智能电网与电动汽车等方面的研究工作。
基金资助:
国家自然科学基金项目(51407076)；中央高校基本科研业务费专项资金资助项目(2015ZD28)；河北省自然科学基金项目(F2014502050)；河北省高等学校科学研究项目(Z2013007)；国网浙江省电力公司经济技术研究院研究项目(JY02201403)

Comprehensive Evaluation of Big Data Quality in Power Systems with Entropy Weight and Grey System Theory

LI Gang1, JIAO Yafei1, LIU Fuyan2, YU Min2, SONG Yu1, WEN Fushuan3,4

Online:2016-12-01
Supported by:
Project supported by National Natural Science Foundation of China (51407076)；Fundamental Research Funds for the Central Universities (2015ZD28)

摘要/Abstract

摘要： 随着电力系统规模的增大、量测技术的发展与成本下降，电力系统的数据量呈现快速增长趋势，逐步具备了大数据特征。充分利用大数据来改善电力系统的规划、运行与控制已受到越来越广泛的重视，如何评估大数据的质量是一个值得研究的重要问题。在数据质量提高技术如数据清洗、数据整合、相似记录检测等方面，已有相当多的研究报道。然而，在数据质量评估方面的研究还处于起步阶段。在此背景下，针对电力系统特征和电力大数据质量特性，提出一种电力大数据质量综合评估方法。首先，构建电力大数据质量评估指标体系；接着，针对大数据处理的时效性问题，利用MapReduce并行化K-means聚类算法来实现大数据样本集的快速预处理。之后，利用熵权法计算各类数据集的客观权重，采用灰色评估法判断数据质量所属等级，在此基础上实现对样本数据集的综合评价。最后，以某市电力公司所采集的用户用电负荷数据为例对所提出的方法做了说明。

关键词: , 电力系统, 大数据, 数据质量, 评估指标, K-means聚类, 熵权法, 灰色理论

Abstract: With the continuous expansion of power systems, as well as ever-developing technology and reduced costs of measurement devices, the recorded data in power systems have been increasing significantly and progressively exhibit the feature of big data. Much attention has been paid to the full use of big data for improving the planning, operation and control of power system, and hence how to evaluate the quality of big data is becoming an important problem to be examined. Some research publications are available on data quality improvement, such as data cleaning, data integration, and the detection of similar records, but the existing research work is still preliminary in data quality evaluations. Given this background, considering the characteristics of power systems and associated big data, this paper proposes a comprehensive method for evaluating the quality of big data in power systems. Firstly, we construct an index system for big data quality evaluations. Then aiming at the timeliness of big data, we adopt the K-means clustering algorithm in parallel with MapReduce for fast preprocessing of the big data sample set. Secondly, we use entropy weight method to calculate the objective weight of each dataset and grey evaluation method to determine the data quality level. On this basis, the comprehensive evaluation of the sample data set is carried out. Finally, the recorded electric load historical data in a city power company are employed to demonstrate the proposed method.

Key words: power system, big data, data quality, evaluation index, K-means clustering, entropy weight method, grey theory

中图分类号:

TM 72

李刚，焦亚菲，刘福炎，俞敏，宋雨，文福拴. 联合采用熵权和灰色系统理论的电力大数据质量综合评估[J]. 电力建设, 2016, 37(12): 24-.

LI Gang, JIAO Yafei, LIU Fuyan, YU Min, SONG Yu, WEN Fushuan.

Comprehensive Evaluation of Big Data Quality in Power Systems with Entropy Weight and Grey System Theory

[J]. Electric Power Construction, 2016, 37(12): 24-.

参考文献

［1］宋亚奇，周国亮，朱永利.智能电网大数据处理技术现状与挑战［J］.电网技术，2013，37(4)：927-935.

SONG Yaqi，ZHOU Guoliang，ZHU Yongli.Present status and challenges of big data processing in smart grid ［J］.Power System Technology，2013，37(4)：927-935.

［2］高峰，刘广一，SAUNDERS Chris，等.智能电网大数据的分析与应用［J］.电力建设，2015，36(10)：11-19.

GAO Feng，LIU Guangyi，SAUNDERS Chris，et al.Applications of smart grid big data analytics ［J］.Electric Power Construction，2015，36(10)：11-19.

［3］李刚，杨立业，刘福炎，等.能源互联网关联数据融合的互信息方法［J］.电力建设，2016，37(9)：22-29.

LI Gang，YANG Liye，LIU Fuyan，et al.A mutual information method for associated data fusion in energy internet［J］.Electric Power Construction，2016，37(9)：22-29.

［4］章元德，史亮，陆巍，等.线损信息化统计中数据质量管控机制及实现［J］.电力系统自动化，2016，40(7)：128-133.

ZHANG Yuande，SHI Liang，LU Wei，et al.Realization of data management and control mechanism of line loss statistical information ［J］.Automation of Electric Power Systems，2016，40(7)：128-133.

［5］刘世成，张东霞，朱朝阳，等.能源互联网中大数据技术思考［J］.电力系统自动化，2016，40(8)：14-23.

LIU Shicheng，ZHANG Dongxia，ZHU Zhaoyang，et al.A view on big data in energy internet ［J］.Automation of Electric Power Systems，2016，40(8)：14-23.

［6］孙世国，黄志敏，叶尚兴，等.基于分布式光纤的电力电缆检测数据质量优化技术［J］.电力建设，2014，35(9)：53-58.

SUN Shiguo，HUANG Zhimin，YE Shangxing，et al.Optimization technology of detection data quality for power cable based on distributed optical fiber ［J］.Electric Power Construction，2014，35(9)：53-58.

［7］KANDEL S，PARIKH R，PAEPCKE A，et al.Profiler：integrated statistical analysis and visualization for data quality assessment［C］// Proceedings of the International Working Conference on Advanced Visual Interfaces，Capri Island，Italy，2012：547-554.

［8］MAMATJAN Y，GRYCHTOL B，GAGGERO P，et al.Evaluation and real-time monitoring of data quality in electrical impedance tomography［J］.IEEE Transactions on Medical Imaging，2013，32(11)：1997-2005.

［9］张亮.电力调度数据中心数据质量问题研究［J］.华东电力，2009，37(3)：403-406.

ZHANG Liang.Research on data quality of electric power dispatching data center ［J］.East China Electric Power，2009，37(3)：403-406.

［10］南方电网报.南网公司研发完成营销系统数据质量核查工具［EB/OL］.（2012-09-03）［2016-11-15］. http://www.cec.org.cn/zdlhuiyuandongtai/dianwang/2012-09-03/90195.html.

［11］陈建明，韩建民.面向微聚集技术的k-匿名数据质量评估模型［J］.计算机应用研究，2010，27(6)：2344-2347.

CHEN Jianming，HAN Jianmin.Evaluation model for quality of k-anonymity data oriented to micro aggregation ［J］.Application Research of Computers，2010，27(6)：2344-2347.

［12］许涤龙，叶少波.统计数据质量评估方法研究述评［J］.统计与信息论坛，2011，26(7)：3-14.

XU Dilong，YE Shaobo.Reviews on assessment methods quality of statistics ［J］.Statistics and Information Forum，2011，26(7)：3-14.

［13］成邦文，石林芬，杨宏进.统计数据质量检查与异常点识别的模型与方法［J］.系统工程，2001，19(3)：85-89.

CHENG Bangwen，SHI Linfen，YANG Hongjin.A model and a method for evaluating the quality of statistical data and identifying outliers from the data ［J］.Systems Engineering，2001，19(3)：85-89.

［14］胡桔州，兰秋军.金融时间序列的数据挖掘技术与经典统计模型的比较［J］.系统工程，2005，23(6)：95-98.

HU Juzhou，LAN Qiujun.Comparing between data mining and classic statistical model in financial time series ［J］.Systems Engineering，2005，23(6)：95-98.

［15］CABALLERO I，SERRANO M，PIATTINI M.A data quality in use model for big data ［J］.Future Generation Computer Systems，2015，51(1)：65-74.

［16］彭小圣，邓迪元，程时杰，等.面向智能电网应用的电力大数据关键技术［J］.中国电机工程学报，2015，35(3)：503-511.

PENG Xiaosheng，DENG Diyuan，CHENG Shijie，et al.Key technologies of electric power big data and its application prospects in smart grid ［J］.Proceedings of the CSEE，2015，35(3)：503-511.

［17］张沛，吴潇雨，和敬涵.大数据技术在主动配电网中的应用综述［J］.电力建设，2015，36(1)：52-59.

ZHANG Pei，WU Xiaoyu，HE Jinghan.Review on big data technology applied in active distribution network ［J］.Electric Power Construction，2015，36(1)：52-59.［18］江小平，李成华，向文，等.K-means聚类算法的MapReduce并行化实现［J］.华中科技大学学报(自然科学版)，2011，39(S1)：120-124.

JIANG Xiaoping，LI Chunghwa，XIANG Wen，et al.Parallel implementation K-means clustering algorithm using MapReduce programming mode ［J］.Journal of Huazhong University of Science and Technology (Natural Science Edition)，2011，39(S1)：120-124.

[1]	汤吉鸿, 章德, 丛凡超, 田国梁, 吴贵烘, 李宇骏, 禹海峰. 基于线性二次型最优控制的多端直流最优功率调制方案[J]. 电力建设, 2020, 41(8): 32-39.
[2]	赵洱岽, 王浩, 林弘杨. 现货市场中基于演化博弈的火电企业阶梯报价策略[J]. 电力建设, 2020, 41(8): 68-71.
[3]	檀勤良, 丁毅宏, 李渝, 李锐. 考虑经济环境平衡的风光火联合外送调度策略多目标优化[J]. 电力建设, 2020, 41(8): 129-136.
[4]	原吕泽芮，顾洁，金之俭. 基于云-边-端协同的电力物联网用户侧数据应用框架[J]. 电力建设, 2020, 41(7): 1-8.
[5]	宋建，束洪春，董俊，梁雨婷，李雨龙，杨博. 基于GM(1，1)与BP神经网络的综合负荷预测[J]. 电力建设, 2020, 41(5): 75-80.
[6]	祁兵，叶欣，李彬，陈宋宋，李源非，石坤. 考虑IEC标准的用户侧电力物联网体系架构研究[J]. 电力建设, 2020, 41(5): 92-99.
[7]	梁修锐，刘道伟，杨红英，李卫星，邵广惠，徐兴伟，王克非，李宗翰，赵高尚. 数据驱动的电力系统静态电压稳定态势评估[J]. 电力建设, 2020, 41(1): 126-132.
[8]	钟永洁，谢东亮，孙永辉，翟苏巍，常福刚，张明理. 考虑能源子系统与储能的综合能源系统优化分析[J]. 电力建设, 2019, 40(8): 59-68.
[9]	郇嘉嘉，隋宇，张小辉. 综合能源系统级联失效及故障连锁反应分析方法[J]. 电力建设, 2019, 40(8): 84-92.
[10]	傅质馨，李潇逸，袁越. 泛在电力物联网关键技术探讨[J]. 电力建设, 2019, 40(5): 1-12.
[11]	尹渠凯，米增强，贾雨龙，范辉. 基于改进K-means聚类的电力市场下分布式储能系统经济性调控模型[J]. 电力建设, 2019, 40(5): 20-27.
[12]	杨军，林洋佳，陈杰军，李逸欣，詹祥澎. 未来城市共享电动汽车发展模式[J]. 电力建设, 2019, 40(4): 49-59.
[13]	胡嘉骅，文福拴，马莉，彭生江，范孟华，徐昊亮. 电力系统运行灵活性与灵活调节产品[J]. 电力建设, 2019, 40(4): 70-80.
[14]	陈飞，冯昊，徐晨博，孙飞飞. 电力系统演进的内在驱动因素及发展路径探索[J]. 电力建设, 2019, 40(3): 59-66.
[15]	江帆，杨洪耕. 基于选择性贝叶斯分类的非侵入式负荷识别方法[J]. 电力建设, 2019, 40(2): 94-.

联合采用熵权和灰色系统理论的电力大数据质量综合评估

Comprehensive Evaluation of Big Data Quality in Power Systems with Entropy Weight and Grey System Theory

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价