善用pandas进行数据处理

最近有一个需求如下图 简单需求.png

这些数据需要连表查询，一次性可以查出来 。但是其中涉及到一些计算,要么执行sql去查,比如最大值最小值等sql都有对应的函数处理也是比较快的，但是其中对应的每个条件之间是互斥的，这样用sql去查最少55次，很淡淡的忧伤，最后采用pandas来处理 。

一 pandas是什么

Pandas是python的一个数据分析包,是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建    的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法....

二 怎么去实现以上的需求

采用sqlalchemy+pandas
具体实现如下:

df = pd.read_sql(sql=sql_cmd, con=engine)
上面的组装的sql一次性查出所有需要的数据,利用pandas装载,df是dateframe类型

业内排名利用df.rank(axis=0,method='max')去实现
下面四个单独出来的,因为每一列都是互斥的,遍历列,分别处理对应的df


for info in cols:
    result = df.sort_values(by=info)[info].tolist()
    
然后直接可以处理对应的数据,这样方便很多

三 总结

以上是对这个需求的处理办法,不知道各位大佬们有什么更好的办法,可以一起交流一下下