python实用命令

ipynb文件

利用https://nbviewer.jupyter.org/ 可以快速加载ipynb文件： 假设要打开的ipynb文件： https://github.com/y/x.ipynb 将y/x.ipynb拼接到https://nbviewer.jupyter.org/github/后面，
得到https://nbviewer.jupyter.org/github/y/x.ipynb， 打开连接即可。

原文链接：https://blog.csdn.net/weiwei9363/article/details/79438908

设置清华镜像

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

安装包超时：
pip --default-timeout=100 install 包名

设置工作路径

import os
os.chdir('要设置的当前目录')
os.getcwd()    #获取当前工作目录

python 共享文件

进⼊到要共享⽂件的⽬录下并在命令⾏中运⾏:
python -m http.server
# 参考 https://blog.csdn.net/ma7986321/article/details/80669171

数据统计

#数据表转置
data_pivot = dat.pivot(index = 'ind1', columns = 'col1', values = 'value')
data_melt = data_pivot.melt(id_vars=['ind1'])

时序数据读取

dateparse = lambda dates: pd.datetime.strptime(dates, '%Y/%m/%d')
    #---其中parse_dates 表明选择数据中的哪个column作为date-time信息，
    #---index_col 告诉pandas以哪个column作为 index
    #--- date_parser 使用一个function(本文用lambda表达式代替)，使一个string转换为一个datetime变量  
​dat = pd.read_csv('ts_data.csv', parse_dates=['date'], index_col='date', date_parser=dateparse)

dat.ds.dt.year  # 获取年份
min_date = min(dat ['date'])
dat ['date'] = dat ['date'].apply(lambda i: (i-min_date).days)   # 计算date-min(date)的天数, 天数转int (.days)

日期处理

# 产生指定日期间隔、指定个数的字符型日期列表
def dateRange(beginDate, delta, length):
    """ 产生指定日期间隔、指定个数的日期字符串
    :param beginDate: 起始日期
    :param delta: 间隔天数
    :param length: 产生日期个数
    :return: 字符型日期列表
    """
    dates = []
    dt = datetime.datetime.strptime(beginDate, "%Y-%m-%d")
    date = beginDate[:]
    i = 1
    while i <= length:
        dates.append(date)
        dt = dt + datetime.timedelta(delta)
        date = dt.strftime("%Y-%m-%d")
        i += 1
    return dates
dateRange("2019-07-22",2, 4)

# 月份加减
import math
class TimeDealer():
    def add_months(self, start_month, months): 
        #返回dt隔months个月后的日期，months相当于步长
        datamonth = start_month[:4] + start_month[5:7]
        month_list = ['01', '02', '03', '04', '05', '06', '07', '08', '09', '10', '11', '12']
        datamonth = int(datamonth)
        num = int(months)
        year = datamonth // 100
        new_list = []
        s = math.ceil(abs(num) / 12)
        for i in range(int(-s), s + 1):
            new_list += [str(year + i) + x for x in month_list]
        new_list = [int(x) for x in new_list]
        result = str(new_list[new_list.index(datamonth) + num])
        return result[:4] + '-' + result[4:6]
    
    def get_range_list(self, start_month, months):
        # 产生指定范围的月份列表
        result = []
        for i in range(1, months+1):
            result.append(self.add_months(start_month, i))
        return result       
dealer = TimeDealer()
dealer.add_months('2020-03',13)   # '2021-04'
dealer.add_months('2020-03',-3)  # '2019-12'
dealer.get_range_list('2020-03', 3)  # ['2020-04', '2020-05', '2020-06']

数据写入csv或xlsx xls

# 写入csv
result.to_csv('计算结果'+use_col+'.csv')

# 写入xlsx
writer = pd.ExcelWriter('result'.xlsx')
result1.to_excel(writer, sheet_name = 'result1')
result2.to_excel(writer, sheet_name = 'result2')
writer.save()

lambda使用

dat=pd.DataFrame([[1,2],[4,5]], columns=['cn','yhat'])
f = lambda x, y : abs(y/x-1) if x>100 else abs(y-x)/100
dat['err'] = dat.apply(lambda x: f(x['cn'], x['yhat']), axis=1)

# 含有lambda函数的模型不能用cPickle模块中pickle保存模型，应用dill模块保存模型。
# 参考 https://cloud.tencent.com/developer/ask/34299
import dill           
f = lambda x: x * 5
dill.dumps(f)

zip

# zip接受任意多个序列作为参数，合并后返回一个tuple列表.
a=[1,2]
b=[3,4]
list(zip(a,b))  # 返回[(1,3),(2,4)]
list(zip(*zip(a,b)))  # 解压返回 [(1,2),(3,4)]
for i, j in zip(a,b):
  print(i*2, j*3)  # 返回2,9  4,12

map

add = lambda x,y : x+y
list(map(add, [1,2],[3,4]))  # 返回[4,6]

copy和deepcopy

a=[1,2,3]
b=a
id(a)  # 查看地址
id(b)  # 与id(a)相同
b[1] = 4  # a,b均变为[1,4,3]，因a,b指向地址相同
a[2] = 5  # a,b均变为[1,4,5]
from copy import copy
c = copy(a)
print(id(c) == id(a))  # 返回False
c[1] = 2  # c变为[1,2,5], a为[1,4,5]

a = [1,2,[4,5]]
d = copy(a)
print(id(a) == id(d))  # 返回False
print(id(a[2]) == id(d[2]))  # 返回True
a[0] = 2  # a为[2,2,[4,5]]，d为[1,2,[4,5]]
a[2][0] = 2  # a为[2,2,[2,5]]，d为[1,2,[2,5]]
# copy 将外层拷贝到新的地址空间，但内层的地址空间不变

a = [1,2,[4,5]]
from copy import deepcopy
e = deepcopy(a)
a[0] = 2  # a为[2,2,[4,5]]，e为[1,2,[4,5]]
a[2][0] = 2  # a为[2,2,[2,5]]，e为[1,2,[4,5]]
# deepcopy 将变量完全拷贝到新的地址空间

# python常用技巧
dir([1,2,3])  # 返回该列表所有的属性和方法

some_dict = {'a': 1, 'z': 3, 'b': 4}
{j:i for i, j in some_dict.items()}  # key value 互换

try:
    file = open('test.txt', 'rb')
except (IOError, EOFError) as e:
    print("Error: {}".format(e.args[1]))
    
try:
    #file = open('test.txt', 'rb')
    file = 1
except Exception as e:
    print("Error: {}".format(e.args[1]))
else:
    print("b")  # else只会在try没有异常时才会执行，且在finally之前
finally:
    print("a")  # finally从句中的代码不管异常是否触发都将会被执⾏

    
a = [(1, 2), (4, 1), (7, 10), (3, -3)]
a.sort(key=lambda x: x[1])
print(a)
# Output: [(3, -3), (4, 1), (1, 2), (7, 10)]