OpenStreetMap Data Case Study

---

地图区域

portland, TX, United States

https://www.openstreetmap.org/relation/127875

选择区域时遇到的问题

一开始选择了北京区域来进行项目，但到后面清洗数据的时候，遇到一个问题，但可考虑到python读取中文需要转码，学习此数据课程前完全没有接触过编程，因此还是选择了美国的城市，感觉会更容易些。之后有时间会尝试用mangoDB数据库研究北京区域的数据。

获得样本文件

从原始 OSM 区域中获取系统的元素样本，k越大，样本文件越小。

修正街道名称

使用正则表达式对发现的实际问题添加映射。

数据导入SQL后，一些基本查询显示街道名称缩写和expected中的街道类型不同。应依照expected纠正街道的名称，选择不使用正则表达式。

统一电话号码格式

    def update_phone_num(phone_num):

        m = phone_num_re.match(phone_num)

        if  m is None:

        ......

导出为csv文件

解析OSM XML文件中的元素，将这些元素从文档形式转换为表格形式，再写入 .csv 文件。

将csv文件导入数据库

这里我用DB browser for sqlite，把csv文件导入sql数据库。

数据概述和补充意见

文件大小

    portland_oregon.osm ......... 1.62 G

    P3.db .......... 939.6 MB

    nodes.csv ............. 633.8 MB

    nodes_tags.csv ........ 11.2 MB

    ways.csv .............. 60.7 MB

    ways_tags.csv ......... 157.6 MB

    ways_nodes.cv ......... 186.4 MB

nodes的数量

    QUERY = "SELECT COUNT(*) FROM nodes"

    [(6756791,)]

ways的数量

    QUERY = "SELECT COUNT(*) FROM ways"

    [(876817,)]

独立用户数的数量

    QUERY = "SELECT COUNT (DISTINCT(e.uid)) FROM (SELECT uid FROM nodes UNION ALL SELECT uid FROM ways)e;"

    [(1491,)]

只出现一次的用户的数量

    QUERY = "SELECT COUNT(*) FROM (SELECT e.user, COUNT(*) as num FROM (SELECT user FROM nodes UNION ALL SELECT user FROM ways) e GROUP BY e.user HAVING num=1)  u"

    [(289,)]

贡献最大的10名用户

    QUERY = "SELECT e.user,COUNT(*) as num FROM (SELECT user FROM nodes UNION ALL SELECT user FROM ways)e GROUP BY e.user ORDER BY num DESC LIMIT 10"

    [(u'Peter Dobratz_pdxbuildings', 1949443), (u'lyzidiamond_imports', 1896180), (u'Mele Sax-Barnett', 559609), (u'baradam', 541141), (u'Darrell_pdxbuildings', 430582), (u'cowdog', 362994), (u'Peter Dobratz', 320534), (u'Grant Humphries', 295009), (u'justin_pdxbuildings', 116528), (u'amillar-osm-import', 106857)]

下面是一些用户贡献百分比统计信息：

1.顶级用户贡献率（“Peter Dobratz_pdxbuildings”）25.54%；

2.结合前2用户贡献（“Peter Dobratz_pdxbuildings”和“lyzidiamond_imports”）50.38%；

3.综合排名前10位的用户贡献86.18%；

4.只贡献一次的用户占总用户的19.38。

什么类型的商店最多（top10）

    QUERY = "SELECT value,COUNT(*) as num FROM nodes_tags WHERE key='shop' GROUP BY value ORDER BY num DESC LIMIT 10"

    [(u'convenience', 208), (u'hairdresser', 159), (u'clothes', 148), (u'beauty', 119), (u'car_repair', 70), (u'mobile_phone', 69), (u'supermarket', 48), (u'optician', 41), (u'bakery', 37), (u'hardware', 37)]

便利店最多，其次是发廊、服装店、美容院、汽车修理厂、手机店、大超市、眼镜店、面包店、五金店。结果还是符合预想的。

宗教信仰

    QUERY = "SELECT nodes_tags.value,COUNT(*) as num FROM nodes_tags JOIN (SELECT DISTINCT(id) FROM nodes_tags WHERE value='place_of_worship') i ON nodes_tags.id=i.id WHERE nodes_tags.key='religion' GROUP BY nodes_tags.value ORDER BY num DESC"

    [(u'christian', 553), (u'buddhist', 5), (u'jewish', 2), (u'muslim', 2), (u'unitarian_universalist', 2), (u'eckankar', 1), (u'hindu', 1), (u'sikh', 1)]

宗教是美国文化中非常显著的一部分，。美国绝大多数人信奉基督教，但其他各种宗教也同时并存。

十大最受欢迎的菜

    QUERY = "SELECT nodes_tags.value,COUNT(*) as num FROM nodes_tags JOIN (SELECT DISTINCT(id) FROM nodes_tags WHERE value='restaurant')i ON nodes_tags.id=i.id WHERE nodes_tags.key='cuisine' GROUP BY nodes_tags.value ORDER BY num DESC LIMIT 10"

    [(u'pizza', 66), (u'mexican', 49), (u'thai', 36), (u'american', 34), (u'chinese', 33), (u'italian', 16), (u'sushi', 16), (u'burger', 15), (u'japanese', 15), (u'asian', 13)]

看来，波特兰k人最喜欢吃披萨，中餐也有很好的市场。

建议：

建立反馈激励机制，鼓励用户提交新数据和更新旧数据

好处：

给用户反馈，能让更多的用户更多的给地图贡献数据，地图数据量得以保证；2.适当的激励机制，能增加数据的可靠性，旧数据及错误数据也能得到更新。

预期的问题：

新用户增多，前期不熟悉产品，可能会带来很多的错误数据和重复数据；2.可能会增加维护成本。