因为论文需要处理千万级别的数据,之前一直用python读取数据,经过data manipulation把数据量减小,再做分析,但是中途会把很多实验结果生成的表存储在电脑里,虽然做了文件夹分类,但是依然为文件命名和存储位置感到头疼。
实习开始接触了数据挖掘工具KNIME,之前写过一篇KNIME的基本介绍:数据分析工具KNIME基础模块及特点分析 - 简书,在使用过程中用KNIME可以自由连接公司数据库进行取数,再运用当中的Node做更多后续分析。当时就认识到KNIME 连数据库的功能是很强大的,甚至由于其他数据分析/挖掘产品,比如Rapidminer和Tableau。在这里也给自己挖个坑,之后会写一篇KNIME的数据连接功能。
虽然KNIME可以解决数据处理过程中重复操作的问题,但是每次进行数据导入依然存在数据来源多,文件混乱这样的问题。伪男友阿康向我推荐了PostgreSQL,我用两天时间在Mac上成功配置了环境并且把数据分析用的shp文件和csv都导入了进来。
选择PostgreSQL的原因是处理的数据主要是地理空间数据,而pgSQL刚好有postgis的拓展功能,可以很好的存储有空间属性的数据,据说还有很多很强大的功能我还没有发觉,但是我已经尝试了多种数据导入方法,甚至可以从QGIS里直接把shp拖拽进数据库,还是挺让人激动的。
下载Postgres app
与windows下载PostgreSQL不同,我在搜索Mac的pgSQL版本时发现了Postgres app:Postgres.app – the easiest way to get started with PostgreSQL on the Mac,据说是在Mac上使用pgSQL的最简单方式,直接到链接网站里面下载,下载结束之后找到dmg文件,像安装任何一个app一样install即可,然后把图标拖入文件夹,小象图标就会出现在你的app列表里了(右下角)。
Postgres app随即打开应用,出现如图所示界面。在下载之初自动建立了以你电脑用户名为名字和以postgres为名字的两个数据库(请忽略一左一右两个database,是我自己后来创建的),postgres也提供了创建新身份和切换身份的方法。
Postgres app 界面这里点击任何一个数据库即可进入到相应的terminal执行语句。可以先输入help获取帮助。
进入命令行执行界面下载pgAdmin
因为本人太菜了,用命令行进行数据库操作较为困难,这时候就轮到Postgres app的好朋友pgAdmin出场了。pgAdmin提供图形化操作界面,与pgSQL的关系就好像Navicat或HeidiSQL与MySQL的关系一样,方便对数据库进行操作。下载去这里:pgAdmin - PostgreSQL Tools,直接找到macOS版本,这时候不要费解,只下载dmg结尾的文件即可(中间的)。
pgAdmin下载页面下载完成后也是点击安装,然后双击图标,网页版界面映入眼帘。
pgAdmin界面完成✅ 环境配置好了,在数据的天地中尽情驰骋吧!手比哈特!
网友评论