美文网首页我爱编程
Pandas实战(租房数据处理)

Pandas实战(租房数据处理)

作者: manbug | 来源:发表于2017-12-27 13:48 被阅读0次

背景:甲方需要xxx地的租房历史交易数据,于是用不可描述的方式搞到了一批包含各个中介公司的16,17年的历史交易数据(excel表)。于是就以此为基础,开始了创造数据的历程。

  1. 整体逻辑

有数据总量比较少的时候,这时候需要把16,17年数据合并,重新赋予时间。之后先预处理groupby(有些房子信息挂了好几次,一直没租出去),再过滤掉租金,每平米租金常识性不合理的数据,接下来生成成交时间,租金,租期,免租期,付款方式,住宅类型,最后再根据淡旺季为每个月保留合理数量。

该脚本放在了django项目里(因为有时涉及到poi相关信息的匹配,懒得额外复制代码了)
from django.core.management.base import BaseCommand
class Command(BaseCommand):
    help = """
    创造租房数据
    """
    def handle(self, *args, **options):
        print("Starting...\n\n")
        self.main()
        print("\n\nEnding...")

    def main(self):
        df1 = pd.read_excel("./RawData/绍兴__2016年.xlsx")
        df2 = pd.read_excel("./RawData/绍兴__2017年.xlsx")
        df = reset_month([df1, df2])
        df["年份"] = df["时间"].dt.year
        df_2016 = df[df["年份"] == 2016]
        df_2017 = df[df["年份"] == 2017]

        # 临时
        # df_2015 = df[df["年份"] == 2015]
        # df_2015["月租金"] = df_2015["月租金"] * (0.9 - 0.1 * random.random())
        # df_2015["月租金"] = df_2015["月租金"].map(fake_num)

        self.step2(df_2016, ex_name="绍兴__2016年.xlsx")
        self.step2(df_2017, ex_name="绍兴__2017年.xlsx")

    def step2(self, df, ex_name):
        # GROUPBY
        df = df.fillna("-").groupby(
            ["小区名称", "地址", "行政区", "X坐标", "Y坐标", "地图类型", "楼盘性质", "建筑面积", "所在层", "总楼层", "居室",
             "朝向", "建筑年代", "开发商", "装修", "月租金", "中介公司", "年份"])[["时间"]].min().reset_index()

        min_rent = 300
        min_per_rent = 10
        max_per_rent = 140
        max_chengjiao_date = '2017-12-20 00:00:00'
        zhongjie_name = "xx地产"

        df = self.pretreatment(df, min_rent, min_per_rent, max_per_rent)

        df = self.chengjiaoshijian(df, max_chengjiao_date)
        print("Already chengjiaoshijian")
        df = self.chengjiaozujin(df)
        df = self.zuqi(df)
        df = self.mianzuqi(df)
        df = self.fukuanfangshi(df)
        df = self.zhuzhaileixing(df)

        # df = self.chuzuxingshi(df)
        print("Already zhuzhaileixing")

        # 创造数据
        df = self.make_new_data(df, MONTH_RATE, zhongjie_name)
        print("Already make new data")

        df = df.drop(["X坐标", "Y坐标", "地图类型", "年份", "每平米月租金", "月份", "成交时间差", "溢价", "楼盘性质"], axis=1)

        df.to_excel("./ProdData/{}".format(ex_name))
  1. 合并表格,随机赋予日期

16,17年数据46开分配

def strTimeProp(start, end, format, prop):
    stime = time.mktime(time.strptime(start, format))
    etime = time.mktime(time.strptime(end, format))
    ptime = stime + prop * (etime - stime)
    return time.strftime(format, time.localtime(ptime))

def randomDate(start, end, prop):
    return strTimeProp(start, end, '%m-%d-%Y', prop)

def reset_month(li):
    """
    合并表格,并重新生成时间,月份
    :param li: 多个dataframe的列表
    :return: 
    """
    df = pd.concat(li)
    for index, row in df.iterrows():
        r = random.randint(1, 10)
        if r <= 4:
            df.set_value(index, "时间", randomDate("1-1-2016", "1-1-2017", random.random()))
        else:
            df.set_value(index, "时间", randomDate("1-1-2017", "11-30-2017", random.random()))

    return df
  1. 预处理

15年的数据由16年生成,为了真实性,租金要混淆,精确度取决于租金的数量级(千精确到百,万精确到千)


def fake_num(num):
    if num / 10000 > 1:
        num = int(num / 1000) * 1000
    elif num / 1000 > 1:
        num = int(num / 100) * 100
    else:
        num = int(num / 10) * 10
    return num

过滤月租金,每平米租金不合理数据

    def pretreatment(self, df, min_rent, min_per_rent, max_per_rent):
        df = df[df["月租金"] > min_rent]
        df["每平米月租金"] = df["月租金"] / df["建筑面积"]

        df = df[(df["每平米月租金"] > min_per_rent) & (df["每平米月租金"] < max_per_rent)]
        df["月份"] = df["时间"].dt.month

        # 检查区间数量是否合适
        # pd.value_counts(pd.cut(df["每平米月租金"], bins=range(0, 500, 10))) / len(df)
        return df
  1. 成交时间
    def chengjiaoshijian(self, df, max_chengjiao_date):
        """
        成交时间修改

        ----重新计算淡旺季在各个领域下的分配比
        """
        # whole_hot = 0.9 * 1 +11.2 * 0.98 + 26.44 * 0.6
        # whole = 29.58 + 18.28 + 9.3
        # whole_cold = 11.2 * 0.02 + 26.44 * 0.4 + 4.11 + 0.17 + 0.02

        # eg_1_hot_rate = (0.9 * 1) / whole_hot
        # 重新推导出规则如下
        """
        成交时间:
        上架时间 当天 0.9%(旺季)                       旺季 0.0324   
        上架时间+[1-7天]  11.2%(98%在旺季)             旺季 0.3957              淡季 0.0148
        上架时间+[8-14天] 26.44%(60%在旺季)            旺季 0.5719              淡季 0.7004
        上架时间+[15-21天] 29.58%                                    季 0.5175
        上架时间+[22-28天] 18.28%                                    季 0.3198
        上架时间+[29-42天] 9.3%                                      季 0.1627
        上架时间+[42-60天] 4.11%(淡季)                                          淡季 0.2723
        上架时间+[61-90天] 0.17%(淡季)                                          淡季 0.0112
        上架时间+[91-100天] 0.02%(月租金贵的,且在淡季)                           淡季 0.0013
        * 淡季:每年10月到次年1月
          旺季:2月到3月,6月到7月
        """

        DAY_DELTA = datetime.timedelta(days=1)

        def judge_season(date):
            if not date:
                return ""
            month = date.month
            if month > 10 or month == 1:
                return "淡季"
            elif month in (2, 3, 7):
                return "旺季"
            else:
                return "平季"

        def float_date(date, start, end):
            r = random.randint(start, end)
            new_date = date + DAY_DELTA * r
            return new_date

        def make_random_closing_time(date):
            season = judge_season(date)
            if not season:
                print("fuck no season")
                return date
            i = random.randint(1, 10000)
            if season == "旺季":
                if i <= 324:
                    return date
                elif 324 < i <= 4281:
                    return float_date(date, 1, 7)
                else:
                    return float_date(date, 8, 14)
            elif season == "平季":
                if i <= 2000:
                    return float_date(date, 1, 7)
                elif i <= 5500:
                    return float_date(date, 8, 14)
                elif i <= 8500:
                    return float_date(date, 15, 21)
                elif i <= 10000:
                    return float_date(date, 22, 28)
                else:
                    return float_date(date, 29, 42)
            elif season == "淡季":
                if i <= 148:
                    return float_date(date, 1, 7)
                elif 148 < i <= 7152:
                    return float_date(date, 8, 14)
                elif 7152 < i <= 9875:
                    return float_date(date, 42, 60)
                elif 9875 < i <= 9987:
                    return float_date(date, 61, 90)
                else:
                    return float_date(date, 91, 100)

        import random
        for idx, row in df.iterrows():
            df.set_value(idx, "成交时间", make_random_closing_time(row["时间"]))

        df["成交时间差"] = df["成交时间"].subtract(df["时间"]).dt.days

        df["成交时间"] = pd.to_datetime(df["成交时间"])
        df = df[(df["成交时间"] < max_chengjiao_date)]
        return df
  1. 成交租金,租期,免租期,付款方式,住宅类型 基本同理
  2. 补数据

依据淡旺季的交易比例筛选数据

    def make_new_data(self, df, di, zhongjie_name):
        """
        补数据
        :param df: 
        :param di: (1-12月,每个月交易数量)
        :param zhongjie_name: 
        :return: 
        """
        result = pd.DataFrame()
        for month in range(1, 13):
            # 每个市都依据总数量指定标准数量
            standrad = make_random(di[month] * len(df) / sum(di.values()))

            df_onemonth = df[df["月份"] == month]
            if not len(df_onemonth):
                continue
            df_onemonth_wo = df_onemonth[df_onemonth["中介公司"] == zhongjie_name]
            df_onemonth_wo_not = df_onemonth[df_onemonth["中介公司"] != zhongjie_name]
            amount = len(df_onemonth_wo)
            if amount > standrad:
                result = result.append(df_onemonth_wo.sample(n=standrad))
                continue
            d_value = standrad - amount
            if d_value > len(df_onemonth_wo_not):
                d_value = len(df_onemonth_wo_not)

            result = result.append(df_onemonth_wo)
            result = result.append(df_onemonth_wo_not.sample(n=d_value))
        result["中介公司"] = zhongjie_name
        return result

总结:
整个流程无非是按照某个规则来顺序处理数据,需要注意的只有几个dataframe方法的使用:
可以先去过一遍Pandas使用基础

1. 日期转年/月
df["年份"] = df["时间"].dt.year
2. GROUPBY先fillna
df = df.fillna("-").groupby([...])[["时间"]].min().reset_index()
因为如果某一行作为groupby的列为空(nan),那么这一列必定不会出现在groupby的结果里
3. 删除列
df = df.drop(["X坐标", "Y坐标", "地图类型", "年份", "每平米月租金", "月份", "成交时间差", "溢价", "楼盘性质"], axis=1)
4. 随机取一些行
df.sample(n=int)
5. 时间格式
df["成交时间"] = pd.to_datetime(df["成交时间"])
6. 结果统计
数值:df["时间"].dt.month.value_counts()
区间:pd.value_counts(pd.cut(df["溢价"], bins=range(0, 600 + 1, 300))) / len(df)
7. Series操作使用函数
df_2015["月租金"] = df_2015["月租金"].map(fake_num)

相关文章

网友评论

    本文标题:Pandas实战(租房数据处理)

    本文链接:https://www.haomeiwen.com/subject/vktugxtx.html