美文网首页我爱编程
南京链家爬虫系列文章(四)——图表篇

南京链家爬虫系列文章(四)——图表篇

作者: haffner2010 | 来源:发表于2018-03-14 21:19 被阅读0次

    前言

    在上一篇南京链家爬虫系列文章(三)——MongoDB篇中,我们已经数据保存为csv文件,此篇我们可以基于csv文件中的数据进行必要的图标展示的操作,必备工具:pyecharts,详细介绍请移步参加作者的主页,安装方式很简单,pip一下就可以了:

    image.png

    柱状图

    比较简单,详见代码:

    import pandas as pd
    from pyecharts import Bar,Line,Overlap
    
    df_src=pd.read_csv('nanjing.csv')
    row = df_src[df_src.community_unit_price=='暂无参考均价'].index.tolist()
    df=df_src.drop(row) # 删除无小区均价所在的行
    data={}
    data = df[['district','community','community_id','longtitude','latitude','community_unit_price']]
    district = ['鼓楼', '溧水', '浦口', '江宁', '栖霞', '雨花台', '玄武', '秦淮', '建邺']
    dis_ind=0 # 区域索引
    # 二手房数量排名
    temp=data['community'].value_counts()
    num=50
    attr=temp[0:num].index
    val=temp[0:num].values
    bar = Bar(district[dis_ind]+"二手房数量前%d排名" %num)
    bar.add('bar', attr, val, is_label_show=True, is_datazoom_show=True, xaxis_rotate=30)
    # line=Line()
    # line.add('line',attr,val, is_label_show=True, is_datazoom_show=True)
    # overlap=Overlap()
    # overlap.add(bar)
    # overlap.add(line)
    # bar.show_config() # 打印输出图表的所有配置项
    bar.render(district[dis_ind]+"二手房数量前%d排名.html" %num)
    

    效果如下:


    123.gif

    地图显示篇

    同样通过pyecharts自带的地图功能,可以在地图上显示各小区均价,代码如下:

    import pandas as pd
    from pyecharts import Geo
    
    df_src=pd.read_csv('nanjing.csv')
    row = df_src[df_src.community_unit_price=='暂无参考均价'].index.tolist()
    df=df_src.drop(row) # 删除无小区均价所在的行
    data={}
    data = df[['district','community','community_id','longtitude','latitude','community_unit_price']]
    district = ['鼓楼', '溧水', '浦口', '江宁', '栖霞', '雨花台', '玄武', '秦淮', '建邺']
    dis_ind=0 # 区域索引
    index=data['district']==district[dis_ind] # 提取值为dis_ind的索引,
    
    data =[
        ('紫竹林1号', 27173), ('月光广场', 31193), ('卧龙湖小镇', 10683), ('天润城第十四街区', 23713), ('东渡国际青年城', 28992)
    ]
    geo_cities_coords = {'紫竹林1号': [118.780703,32.091311],'月光广场':[118.7517653,32.06505319],
                         '卧龙湖小镇':[119.0605851,31.72704304],'天润城第十四街区':[118.737714,32.16147],
                         '东渡国际青年城':[118.8454192,31.93771896]}
    geo = Geo("南京", "二手房小区均价", title_color="#fff",
              title_pos="center", width=1200,
              height=600, background_color='#404a59')
    attr, value = geo.cast(data)
    geo.add("", attr, value, maptype='南京', type="effectScatter",
            is_random=True, effect_scale=5, is_legend_show=False,
            geo_cities_coords=geo_cities_coords)
    geo.render('hello.html')
    

    打开当前路径下的hello.html文件即可查看效果,只简单的去了五个小区,效果如下:


    123.gif

    热力图篇

    准备工作,在进行热力图的制作之前需要先阅读几篇文章:
    python调用百度地图API实现经纬度换算、热力地图全流程指南
    【新年快乐,跨年文章】Python+百度API 画出美美哒热力地图(代码+数据)
    通过这两篇文章我们需要做几件事

    第一件事

    申请百度开发者账号,获得ak略...

    第二件事

    确定地图中心点,http://api.map.baidu.com/lbsapi/creatmap/通过这个网址输入地名即可

    第三件事

    生成经纬度数据,count值可以为小区均价,二手房首付,或者其他什么的...生成的经纬度数据替换图中的var points,按照格式替换即可


    image.png

    第四件事

    修改热力图的半径和count的最大值,因为数据太多,因此只选择了几个点进行测试,通过观察,points的最大值在60000以下,因此半径和最大值设置如下:


    image.png

    第五件事

    点击运行按钮即可


    image.png

    热力图生成代码:

    <!DOCTYPE html>
    <html>
    <head>
        <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
        <meta name="viewport" content="initial-scale=1.0, user-scalable=no" />
        <script type="text/javascript" src="http://api.map.baidu.com/api?v=2.0&ak=您的密钥"></script>
        <script type="text/javascript" src="http://api.map.baidu.com/library/Heatmap/2.0/src/Heatmap_min.js"></script>
        <title>热力图功能示例</title>
        <style type="text/css">
            ul,li{list-style: none;margin:0;padding:0;float:left;}
            html{height:100%}
            body{height:100%;margin:0px;padding:0px;font-family:"微软雅黑";}
            #container{height:500px;width:100%;}
            #r-result{width:100%;}
        </style>    
    </head>
    <body>
        <div id="container"></div>
        <div id="r-result">
            <input type="button"  onclick="openHeatmap();" value="显示热力图"/><input type="button"  onclick="closeHeatmap();" value="关闭热力图"/>
        </div>
    </body>
    </html>
    <script type="text/javascript">
        var map = new BMap.Map("container");          // 创建地图实例
    
        var point = new BMap.Point(118.802422,32.064653);
        map.centerAndZoom(point, 15);             // 初始化地图,设置中心点坐标和地图级别
        map.enableScrollWheelZoom(); // 允许滚轮缩放
      
        var points =[
        {"lat":32.091311,"lng":118.780703,"count":27173},
        {"lat":32.0650531878,"lng":118.75176535,"count":31193},
        {"lat":31.7270430391,"lng":119.060585074,"count":10683},
        {"lat":32.16147,"lng":118.737714,"count":23713},
        {"lat":31.9377189597,"lng":118.845419154,"count":28992},
        {"lat":32.0975408803,"lng":118.920418487,"count":32055},
        {"lat":31.9684060782,"lng":118.764814167,"count":35856},
        {"lat":32.063616,"lng":118.796992,"count":56820},
        {"lat":32.038831,"lng":118.797207,"count":39698},
        {"lat":32.002376,"lng":118.745826,"count":55555}];
       
        if(!isSupportCanvas()){
            alert('热力图目前只支持有canvas支持的浏览器,您所使用的浏览器不能使用热力图功能~')
        }
        //详细的参数,可以查看heatmap.js的文档 https://github.com/pa7/heatmap.js/blob/master/README.md
        //参数说明如下:
        /* visible 热力图是否显示,默认为true
         * opacity 热力的透明度,1-100
         * radius 势力图的每个点的半径大小   
         * gradient  {JSON} 热力图的渐变区间 . gradient如下所示
         *  {
                .2:'rgb(0, 255, 255)',
                .5:'rgb(0, 110, 255)',
                .8:'rgb(100, 0, 255)'
            }
            其中 key 表示插值的位置, 0~1. 
                value 为颜色值. 
         */
        heatmapOverlay = new BMapLib.HeatmapOverlay({"radius":20});
        map.addOverlay(heatmapOverlay);
        heatmapOverlay.setDataSet({data:points,max:60000});
        //是否显示热力图
        function openHeatmap(){
            heatmapOverlay.show();
        }
        function closeHeatmap(){
            heatmapOverlay.hide();
        }
        closeHeatmap();
        function setGradient(){
            /*格式如下所示:
            {
                0:'rgb(102, 255, 0)',
                .5:'rgb(255, 170, 0)',
                1:'rgb(255, 0, 0)'
            }*/
            var gradient = {};
            var colors = document.querySelectorAll("input[type='color']");
            colors = [].slice.call(colors,0);
            colors.forEach(function(ele){
                gradient[ele.getAttribute("data-key")] = ele.value; 
            });
            heatmapOverlay.setOptions({"gradient":gradient});
        }
        //判断浏览区是否支持canvas
        function isSupportCanvas(){
            var elem = document.createElement('canvas');
            return !!(elem.getContext && elem.getContext('2d'));
        }
    </script>
    

    复制如上代码粘贴在http://lbsyun.baidu.com/jsdemo.htm#c1_15的源代码编辑器中运行即可

    最后一件事

    不知道是什么原因,我只能看看有限的几个点,可能我在百度地图那里没进行实名认证吧,能运行的权限有限,点数一多就没结果...
    另,如果有任何问题,欢迎邮件交流:myprojtest@163.com
    爬虫系列文章:
    南京链家爬虫系列文章(一)——工具篇
    南京链家爬虫系列文章(二)——scrapy篇
    南京链家爬虫系列文章(三)——MongoDB数据读取
    南京链家爬虫系列文章(四)——图表篇

    相关文章

      网友评论

        本文标题:南京链家爬虫系列文章(四)——图表篇

        本文链接:https://www.haomeiwen.com/subject/zxonaxtx.html