美文网首页
干净的数据才能分析啊

干净的数据才能分析啊

作者: lxt | 来源:发表于2018-03-17 23:35 被阅读80次

2018.03.17
  现在公司的XRPD(粉末X射线衍射)分析业务越来越多,于是我遇到了一些极其烦人的事——甲方给的数据非常垃圾。
  先介绍一下背景。要从XRPD推出晶体数据,XRPD仪器和晶体的结晶度都非常重要。前者指的是信噪比要高、没有零点偏移(或者校正掉)等等,后者指粉末由单晶晶粒组成(即无混晶)、各晶面的比例一致(即强度对晶面指数无偏好)、结晶度好(峰宽窄且无非晶峰)、没有杂质等等。解析的步骤主要分成三步:1、从图中提取峰位,获得晶胞参数和空间群(专业术语为“指标化”);2、拟合得每个峰位对应的强度,获得晶胞内的原子位置(专业术语为“结构确定”);3、局域优化,获得更精确的原子位置(专业术语Rietveld精修)。其中只有1对XRPD质量的要求稍低(但再低也有限度,即使是我所写的简直达到世界领先水平的算法,对一大堆错误的峰位也是没法算的),2和3都很高。另外,以上内容是我从2017年初才开始学的,在这之前,我的晶体学基础也就只限于大三时所学的固体物理。
  然后,一群坑爹甲方给我的图惨不忍睹。典型的例子是,噪音大得和小峰一样高(相当于在跳disco的酒吧里放英语听力),单晶里混了不明物质(相当于让你喝加了醋的液体并说出是哪种酒),除了几个间隔相等的峰外别的什么都看不到(相当于要你解秩为1的六元线性方程组)。总的来说就是相当于给你10x10像素的图片要你说出这是谁的照片。我很想打人啊!!用同事hjj的话来说就是,他们给出这么差的图也不害羞么(hjj只是硕士但专业水平比他们高多了)。那些甲方还是整天要用XRPD做表征的,水平还就这么烂。。连我这个只学了一年的人都比不上。
  还有昨天接了个奇坑无比的“外快”。起初是同事看到的,他以为只是小case,就介绍给我了。结果甲方是一个小博士生,给我一个由12条含七八个C原子的长链外加一堆基团组成的立方形状的分子,并且不知道原子的准确位置,并且企图要我修得跟XRPD一样。天啊,这几十个rotational angle。。在我的强烈要求下他才自己画分子,并且在这期间一直在说自己只是做量子化学的,不是做这个的。妹的,我们公司也是专做量子化学的好不好,我也不是专搞建模的好不好,分子都是同事给的好不好,连老板都没让我画过这么复杂的分子。而且我读书时根本没有像你那样花钱就能让别人帮忙做事好不好,全部都是自己亲手做的啊!期间又发现对方给的空间群是错的、给的index结果没有给晶胞参数(最关键最一目了解的结果都不给,那你做index是为了什么?)、甲方不知道cif格式是什么……我觉得光是咨询费都得给我一笔了……我这是免费上课啊……最后他给的cif里的晶胞参数还是瞎写的,搞得我还要把坐标再处理成分数坐标。我越来越觉得最初的报价低了……
  从这就能看出我们的区别了。假如是我做课题遇到了这样的问题,肯定要么是自己查资料看怎么做,要么文章里就不要加入这样的内容,要么找到合作者让他做、然后文章作者算上对方。不过这也许正是我灌不了水发不了多少文章的原因之一吧。
  以后还是不能接这种活,做完觉得自己低了一个层次。
  好吧,检讨一下,越写越觉得我对昨天那个甲方这么不爽的原因有三个:1、钱相对付出来说太少;2、做的事太低端没提升;3、嫉妒他读博时就能花钱让别人做脏活。

顺便说一下,目前做过的案例中,世界最大的药厂之一(我们的一个甲方)还有某大学的一位专攻结晶的老师(我们的一个合作方)做出来的XRPD简直赏心悦目,解得心情舒畅。还有一些大药企的专利里的图也是质量很高,即使没有原始数据我们都能解好。真希望所有合作方都能像他们那样啊。

相关文章

  • 干净的数据才能分析啊

    2018.03.17现在公司的XRPD(粉末X射线衍射)分析业务越来越多,于是我遇到了一些极其烦人的事——甲方给的...

  • BI-SQL丨截取字符串

    截取字符串 我们在做BI可视化之前,通常需要已经清洗干净的数据才能进行可视化分析。 随着电商的发展,有很多数据都是...

  • 大数据分析的“数据来源”有哪些?

    当我们谈到大数据分析,首先需要确定数据分析的方向和拟解决的问题,然后才能确定需要的数据和分析范围。大数据驱动的分析...

  • 十大互联网数据分析方法之-埋点分析

    一、什么是埋点分析 数据分析依赖于数据采集的全面性,只有采集了足够的基础数据,才能通过各种分析方法得到需要的分析结...

  • 数据分析师

    数据分析师 数据分析师需要具备较高的知识与技能,才能在竞争异常激烈的今天,帮助组织科学、准确的分析数据,排除干扰,...

  • 数据分析记要

    1. 数据分析要形成结论 数据本身没有意义,我们需要分析和加工才能为其赋予意义。 找到数据波动的原因,分析可能产生...

  • 浅谈:在数据分析中Pyhon和SQL是有多重要

    在学习数据分析的路上会遇到一个比较常见的问题。一定要会 Python 和SQL才能学习数据分析吗?从数据分析的角度...

  • 大数据分析的方法

    大数据的分析已经是众所周知,大数据已经不简简单单是数据大的事了,而最重要的现实是对大数据进行分析,只有通过分析才能...

  • 使数据技能民主化的几种方法

    来源:CPDA数据分析师网 / 作者:数据君 / 公司通常需要数据科学知识,才能将数据连接到分析或算法并提供数字见...

  • php爬虫框架盘点

    网络数据抓取是大数据分析的前提,只有拥有海量的数据才能够进行大数据分析,因此,爬虫(数据抓取)是每个后端开发人员必...

网友评论

      本文标题:干净的数据才能分析啊

      本文链接:https://www.haomeiwen.com/subject/ogjsqftx.html