工业大数据分析案例之四: 三个陷阱

    对科技工作者来说：不穿越困惑，也就难说是不是真的明白；不经历沟坎，也就别给人家指引方向；不清楚什么事情不能做，也就不要妄言该做什么。在我从事数据分析的过程中，就体现了这样的道理。

    热轧带钢的性能模型，有至少三种观念占据这个领域的主导地位。一种观点认为，只要找到合适的算法，模型精度就会足够高；模型精度足够高，就可以说服用户、就可以走向实用。第二种观点认为：模型应该从单个钢种开始研究，然后扩充到一类钢种、在扩充到更大类；也就是从个别到一般、逐步深入。第三种观点认为：模型的困难在于冶金材料机理研究得不透，应该把机理研究透了，再建立模型。

    很遗憾，这三种观点都是错的。我称之为三个陷阱。在每个陷阱中，都有国内外很多团队花费了大量的时间和金钱。只要陷入一个，就难以自拔。

    更可气的是：很多国外知名公司，就是这样描述自己的技术，并卖给一些中国企业的。而我们的有些专家和领导，本着“外来和尚会念经”的原则，他们怎么说就怎么信。

    前面几篇文章已经说了，绝对的高精度是达不到的，我们只能追求概率意义下的高精度。所以，事先的研究，让我避开了第一个陷阱。

    至于第三个陷阱，我从来就没有考虑过。这里有两个原因：一个是我不擅长。就是我不是材料专业毕业的，对一些问题的理解不深。当然，不擅长的东西可以学习。但是，第二个原因就是我根本就不相信把微观机理搞清楚，就能建立起合适的模型——这个观念背后，也是我的实践经验在支撑：在搞这个项目之前，我研发过控制模型（按照智能制造的说法，就是CPS）。这个模型用的是机理非常清楚的热传导方程。尽管如此，在我解决这个问题之前，中国10多年没有开发出一个真正实用的版本。对这件事，这里就不展开了。但这件事对我的启示是：即便是机理很简单、很清楚，做好也是不容易的——因为实用的关键，是解决可靠性问题。

    有人可能会问：冶金机理搞不清楚，怎么可能建立起好的模型呢？我就这样回答：“在人类历史上，实践往往走在理论前面：先有蒸汽机，后有热力学；先有飞机上天，后有空气动力学；先有橡胶的发明，后来才有了高分子科学。机理模型描述的是材料内部演化机制，而我研究的是外在表现，未必需要把内部的机制完全搞清楚。” 我还认为： “描述外部表现，未必通过模仿内部机制：这就像飞机模仿了飞鸟，却没有像飞鸟那样煽动翅膀。因为煽动翅膀实的机制在是太复杂了，对可靠性不利。我的建模，也是这样。”事实上，我请人按机理的办法建模——用来评估这样的思路误差有多大；最后的结果是误差大约25%~50%。当然，在实际的建模过程中，我并没有完全排斥机理的作用，而是要争取用到“恰到好处”。冶金机理非常重要，如果没有这些理论的指导、没有没有遇到好的合作伙伴和用户，根本不会成功。我强调的，做技术的不能拘泥于这些理论：理论是指方向的，不能成为捆住手脚的绳子。把机理用到恰到好处，似乎是一种艺术。

    但是，第二个陷阱却让我耽误了一年多的时间。我从事了20多年的科研工作，从来没有花这么多时间做无用功。确切地讲：不是我自己一个人做无用功，而是我带的整个团队做了无用功。

    我是个喜欢哲学的人。“认识从个别到一般”被我当做基本的认识规律。所以，“从一个钢种开始”，是我认定的原则。于是，我找了一个生产批量很大的产品。仅这一个钢种，有数万次检验数据。对于这个钢种，我最想搞清楚的是：某个工艺温度对性能的影响有多大。但是，一年多下来，这一件事都没搞清楚：不同的分析方法、不同的样本集合，得到的数据就是对不起来：我到底该相信哪个方法的结论呢？

    这个项目预计的完成时间是3年。当花了1年多的时间毫无进展之后，我告诉自己：再这样走下去看来毫无希望了。要是这样就失败了，我也就别再宝钢混下去了。可以说：我科研生涯中最危险的时候到了。

    于是，我下了一个现在看来最大、也是最英明的决心：放弃前面的思路，从一类产品入手。此后半年多的时间，就取得了实质性的成功。更重要的是：模型是如此简单，却能在令人难以置信的范围内取得难以置信的精度（统计意义下的精度，即前面所说的数学期望）。这个结果也印证了我当初的猜想：问题本来很简单，用那些复杂的算法和模型完全是没有必要的；事实上，在单个钢种的体系内，力学性能基本上可以用线性模型很好地逼近。用神经元等方法所提高的“精度”，本质上是拟合了假象罢了。如果不是因为涉及知识产权的原因，我真的想把这个结果公布出来。

    这类产品大概包含100多个钢种，成分体系是一样的，冶金原理其实也是一致的。针对一类产品做研究，有什么好处呢？好处就是数据的信噪比大大提高了。前面我们曾经讲到：在一个工作点（钢种）附近，检测误差和有效信息往往是在一个数量级上、信噪比相当小，影响模型的稳定性。当我们选择一类钢种，等于工作点的范围发生了变化。于是数据的信噪比骤然上升。数据条件好了，分析自然就简单了。

    科技活动确实非常有趣：你知道的多了（如冶金机理、哲学原理），反而会成为探索过程中的障碍。说实话：如果当初我知道做这个项目需要花12年的时间、做完之后还面临别人的质疑和讽刺，我或许根本不会做这件事：34-45岁是一个科技工作者最黄金的12年。如果我在12年里失败了，这一辈子也就差不多白吃饭了。