本项目在合作单位已经具备100T染整质量大数据条件下，构建Hadoop大数据平台，应用大数据分析和计算方法，完成染色、烘干、热定型和预缩环节的主要质量指标的建模，综合评价和质量不合格因素分析，解决小数据模型预测精度不高、分析结果不够准确等问题。染整质量大数据染整质量大数据分析和控制系统结构如附件3图2所示，主要内容有：
1.染整产品质量大数据分析和计算
（1）构建染整大数据平台
大数据平台由Hadoop集群、服务器、工作站、存储阵列组成。
（2）质量大数据分层类聚
首先对ERP中染整质量与配方、工艺、设备数据增加专用索引，应用MapReduce根据所需建模和分析需要按产品批次、织物类别、加工环节、用户名称、设备名称等分类，提高数据查询效率；在索引分类的基础上，对已经分类的数据采用稀疏子空间类聚方法对质量数据进行精确类聚，为大数据建模和分析提供准确合理样本数据。
（2）批量计算和数据流计算体系构建
本项目在Hadoop大数据平台上，由HDFS分布式文件系统负责静态数据的存储，并通过MapReduce将计算逻辑分配到各数据节点进行数据计算；采用微软的TimeStream完成实时性要求高的流式计算，完成稀疏子空间类聚、质量指标隶属系数、优化求解、质量不合格因素先验概率等数据计算。
2. 建立染整质量指标与生产配方、工艺和设备的模型
应用大数据稀疏子空间类聚的样本，在染整大数据计算体系下设计自适应核学习算法，建立染色、烘干、热定型和预缩环节主要质量与配方、工艺和设备状态的模型，提高质量模型预测精度和结果的稳定性。
3. 染整产品质量综合评价方法研究
印染质量综合评分法，是将实地测得的指标数据按一定的标准评分，再进行项目加权，计算出各印染质量的综合评分以进行评价分析。本项目将多准则评价方法应用到染整产品质量评价体系中，以改善现有质量评价体系，建立数据化、科学化的染整质量综合评价系统。
（1）建立染整质量评价体系和测量值与评分标准；
（2）根据企业质量检测的大数据数，构造判断矩阵，分析指标之间的关联，计算各个指标的隶属系数；
（3）根据评价体系逐层计算出质量综合评判分数。
4．染整产品质量不合格原因的大数据分析
染整产品质量不合格原因分析是对质量综合评价中不合格数据的分析，分析各个指标与配方、工艺、设备数据的相关性，应用贝叶斯网络，得到各个影响因素的概率值。本项目采用贝叶斯网络建模的方法得到质量不合格原因的概率网络结构模型，并判断异常原因，为改进生产工艺、设备操作和管理方式提供可靠依据。具体内容如下：
（1）确定染整产品质量影响因素的拓扑结构模型；
（2）应用绝热量子建模方法完成多原因事件造成质量先验和后验概率密度函数建模；
（3）计算染整产品质量贝叶斯网络模型参数；
5．染整质量大数据分析和控制系统开发
染整质量大数据分析和控制系统包括质量大数据分析系统和染整质量过程控制系统2部分组成。
6．系统改进和投入实际染整生产质量管理应用。
将设计开发的染整质量控制系统在实际染整生产中应用，发现模型、算法和应用程序中的问题，逐步改进系统应用中出现的技术问题，提高模型的精度和分析结果的稳定性，并在全省染整企业推广应用。
二、本项目重点解决的关键技术问题
1.染整质量大数据的类聚方法
由于染整质量数据量非常大，数据包含的信息也非常复杂，必须用新分析的方法才能得到建模和分析所需的高价值数据。染整质量大数据的类聚技术是大数据建模和分析的关键技术难题。
2.染整质量大数据的计算
质量大数据数据量极大，数据组成复杂，给质量数据类聚、建模和分析带来很大困难。小数据计算方法难以解决大数据下优化问题求解，先验概率计算，模型参数学习等计算要求，因此染整质量大数据计算方法也是完成本项目的关键技术难题。
3.质量贝叶斯网络多因素分析中条件概率密度函数建模
贝叶斯网络分析结果的准确性取决于各个因素造成质量不合格概率计算的准确性，概率计算的准确性取决于概率密度函数模型的准确性。染整质量因素很多，概率密度函数非常复杂，建立多因素条件概率密度函数是本项目面临的关键技术难题。
三、特色和创新之处
特色：
应用大数据技术解决企业深层次质量控制技术问题，可以取得很好的经济和社会效益。
创新：
(1)应用大数据分析和计算技术建立染整质量预测模型，综合评价体系和不合格原因分析，实现染整生产印染质量反馈控制。
(2)设计了应用索引和稀疏子空间类聚的大数据分层类聚方法。
(3)提出了后验概率密度函数的绝热量子建模方法，解决了质量大数据条件下影响因素后验概率密度函数建模问题。
全部评论