数据挖掘交流(中国兵器工业集团202所)

化
传 统
学 法
解
决
方 法
设 备 法
降低钢中的硅含量 降低钢中的铝含量
成分控制有 一定限度
酸洗机中增加常化设备 增加电磁搅拌设备
投入大改 造周期长
问题的复杂性
(1)影响产品质量的因素难以确定 该工艺流程属于长流程的复杂生产过程，影响产品
质量的因素特别多，且很难确定。 ●冗余变量 ●变量不足
问题的复杂性
1 = 纵条纹产品 -1 = 合格产品
算法建模
建立基于L1/2正则化的稀疏模型
纵 条 纹 缺 陷 控 制 模 型
348.38CSi+660CAl-1.09445 RT01.1681 FT6+1412.7257<0
支持度相49.11%
最终效果
工厂原有生产控制策略
调整前
调整后
不满足控制模型
满足控制模型
正常硅钢板
有纵条纹缺陷的硅钢板
案例背景
硅钢的生产属于典型的长流程生产过 程，包括50多道个工序，其中与硅钢成 品表面纵条纹缺陷相关的工序就包括锅炉 冶炼、热轧粗轧、热轧精轧、酸洗、轧制、 退火及涂层和剪切等。
原因分析
硅钢纵条纹缺陷的产生机理十分复杂，其根本原因是硅钢中的硅、铝 含量较高，铸坯组织中柱状晶粗大，而且热轧过程中不发生α–γ相变， 这样铸坯中粗大的柱状晶体由于动态回复和再结晶缓慢而不能彻底破碎， 导致热轧板的板厚中心附近为粗大伸长的变形晶粒，它们在以后的冷轧 和退火过程中难以再结晶，这样宏观上便表现为硅钢成品表面出现纵向 条纹。
这样的样本称为不相容样本，相应的 数据集称为不相容数据集.
问题的复杂性
（4）产品质量指标的模糊性 有时产品质量指标难以准确的度量，如冷轧硅钢纵条纹根据 严重程度分为无、轻、较轻、严重四级，但人工难以准确地对 硅钢产品作出这样评价. 由人工区分每件产品的质量工作量特别大，只能对部分质量 特别好的精品或质量极其差的劣等品进行标号.
（2）非平衡性
流程工业产品质量数据往往正品样本个数是次品样 本个数的几十甚至几百倍或者普通质量的产品样本个 数是精品样本个数的几十甚至几百倍，这种数据集称 为不平衡数据集.
对不平衡数据集的分类传统的分类方法失效.
问题的复杂性
（3）不相容性
硅钢生产是非常复杂的生产过程，产 生纵条纹的影响因素很多，为了简化问 题和数据获取方便，我们常常忽略了一 些对纵条纹作用相对较小的影响因素， 这样就会存在很多硅钢产品其影响纵条 纹的因素非常相同或相近，但纵条纹的 类别却相反的样本.
目录
数据挖掘应用案例
消除硅钢纵条纹 生产定额数据预测 信息所－入侵检测中攻击类型识别 信息所－入侵检测中连接属性关联分析 视频图像智能处理与特征分析平台 刀具寿命预测 331厂精密铸造质量控制 航天3院调舱数据分析
美林对数据挖掘的认识
美林在数据挖掘的优势
案例背景
某钢铁企业是中国最大的特种钢材生产企业，在其某条硅钢生产线上， 由于多种复杂因素的作用，成品表面有时会形成一种称为纵条纹的瓦楞状 缺陷。纵条纹缺陷不仅影响产品的外观效果，而且对产品的物理性能如层 间电阻，电磁性能和叠片性能等有着直接的影响，其纵条纹缺陷钢占生产 量的30%左右，每年给企业带来巨大的损失。
问题
名称 数据概况 来源 数据描述
怎么样来识别网络攻击的类型？
数据集
KDD99
其是训练数据集包括7周网络流量，共500万条连接记录。 每一行数据具有41个属性，按属性可分为4大类。
http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html
KDD99是由MIT林肯实验室在1998年建立的模拟军事网络中各种入侵的安全审计数据集。
5分钟？
10分钟？
多少分钟？
数据准备
收集到各种不同部件的实际定额数据 部件一：累计周长 部件二：加工直径、加工深度 部件三：加工宽度、加工直径、加工深度
部件一
部件二
部件三
算法建模
采用神经网络回归算法对数据进行学习 经过算法参数调优后最终得出预测模型
最终效果
实际值 预测值
相关系数 99.77%
远远超过 人的经验
问题的复杂性
鉴于流程工业数据的特点，对于流程工业的产品质量控制问题，目前一 般不能应用通用的数据挖掘或机器学习软件直接进行，必须就具体问题具 体分析，根据机器学习的基本原理，构造特殊的模型和算法.
N
支持度最大化准则 分类面P的支持度和置信度
优区
数据准备
收集到可能产生纵条纹的影响因素（15个）： 连铸中包温度：t1,t2,t3 连铸拉速：v1,v2,v3 铸坯成分：C、Si、Mn、S、P、Al 粗轧出口温度： RT0 精轧出口温度： FT6 卷取温度： CT
相对误差 6.979%
目录
数据挖掘应用案例
消除硅钢纵条纹 生产定额数据预测 信息所－入侵检测中攻击类型识别 信息所－入侵检测中连接属性关联分析 视频图像智能处理与特征分析平台 刀具寿命预测 331厂精密铸造质量控制 航天3院调舱数据分析
美林对数据挖掘的认识
美林在数据挖掘的优势
入侵检测中攻击类型的识别
该研究共模拟了4大类网络攻击 Denial Of Service(DOS)：非法企图中断或干扰主机或网络的正常运行；（例如syn_flood、 back、land、Neptune、pod、smurf、teardrop等） Remote to Local(R2L)：远程非授权用户非法获得本地主机的用户特权；（例如ftp_write、 guessing、password、nmap、multihop、phf、spy、warezclient、warezmaster等） User to Root(U2R)：本地非授权用户非法获取本地超级用户或管理员的特权；（例如 buffer_overflow、ipsweep、loadmodule、perl、rootkit等） Surveillance or probe(Probe)：非法扫描主机或网络，寻找漏洞、搜索系统配置或网络拓 扑；（例如port_scanning、nmap、portsweep、satan等）
美林对数据挖掘的认识
美林在数据挖掘的优势
案例背景
西飞集团某公司，在生产管理过程中积累了丰富的劳动定额数据，但 是这些数据并没能够对生产计划的制定起到指导作用。原有生产计划的制 定是基于一些经验公式对生产时间进行估算，这种经验公式对于以生产过 的零件估算较准确，但对新零件或修改后的零件生产时间的估算与实际值 偏差很大。这导致了生产计划无法做到精确有效，计划延误率居高不下。
348.38CSi+660CAl-1.09445 RT0-1.1681 FT6+1412.7257<0
次品率 30%ห้องสมุดไป่ตู้
次品率 1.8%
目录
数据挖掘应用案例
消除硅钢纵条纹 生产定额数据预测 信息所－入侵检测中攻击类型识别 信息所－入侵检测中连接属性关联分析 视频图像智能处理与特征分析平台 刀具寿命预测 331厂精密铸造质量控制 航天3院调舱数据分析