美文网首页
#数据操作初步

#数据操作初步

作者: loop大魔王 | 来源:发表于2015-08-05 18:49 被阅读0次

前面介绍了数据研究平台的安装,这片介绍如何用现成的库以及工具获取和导出数据。大部分的人物可在IDLE里完成。

因为历史数据量庞大,如果只在IDLE里查看,尽量不要获取太大范围的数据,获取速度由宽带速度决定,另一方面界面大小有限,数据量庞大,根本无法达到可视化的效果,更不用说分析出可用结果。

 如下代码:
ipmort tushare as ts
ts.get_hist_data('600839')#获取四川长虹历史数据

第一行导入tushare包,然后获取四川长虹的历史数据,结果如下。

12年8/6开始.png 到8/5为止.png

以上包含开盘价,收盘价,等等熟知的基本数据。

MA junjia2.png

以上为统计的5日,10日等等均价,均量。

换手率.png

12年到15年的换手率,结果过多,中间很多结果省略。以上全为在LDLE里进行操作以及浏览,下面介绍如何导出数据到excel文件,sql数据库。
还是一段简短的代码。

>>> dm=ts.get_hist_data('000875')
>>> dm.to_excel('d:/data/new.xls',startrow=2,startcol=5)

上面已经导入tushare包,所以此处不再导入,直接将获取的数据存入名为dm的对象,第二行利用to_excel方法将数据写入new.xls文件,后面两个参数为写入的起始行和列。当然大不分时刻不需要偏移,所以去掉后两个参数,写入完毕后打开文件查看

hist_data.png

同上,写入scv,hdf5,json都是同样的方法。具体还要看自己的数据处理平台可以处理的格式,很多量化高手可以在excel里进行回测,如果感兴趣可以学习vba这门比较古老的语言,操作excel很强大。

几乎所有软件都离不开数据库,为了更便的自动写入和读取数据,大部分时候我们将数据存入数据库里,本次演示将数据读入mysql,当然也支持其他大部分关系数据库和菲关系数据库。这一切都依赖于pandas对大部分数据库的支持。

此处演示存入tick数据到数据库,tick翻译为滴答的钟声,一瞬间,我们可以大概推测到它的意义,即股票每个时刻的交易详情,很多手机炒股软件,比如新浪财经,鑫财通,同花顺等都能实时看到股票交易的详细成交细节,时间,价格,成家量,当然也不是绝对实时,特别是移动客户端,会有延迟,如果对时间要求比较严格的交易者,不建议在手机上操作。

操作之前,要求系统已经安装好Mysql数据库,以及sqlalchemy,后者是一个python下的sql工具包以及关系对象映射器。当然在此处我们只用到了他的create_engine部分。
代码:

from sqlalchemy import create_engine
import tushare as ts

df = ts.get_tick_data('600848', date='2014-12-22')
engine = create_engine('mysql://root:654321@127.0.0.1/my_db?charset=utf8')

df.to_sql('tick_data',engine)

解读:从sqlalchemy导入create_engine,导入tushare,获取600848这支股票在2014年12月22这一天的交易tick,存入df对象,然后我们先用mysql-front创建一个叫my_db的数据库

create db.png

然后在create_engine方法里连接到此数据库,最后一行用to_sql方法写入tick_data到没有my_db里。
写入完毕后打开mysql-front

tick.png 可视化.png 可视2.png

后两张图可看出有1700多笔交易,成交的时间,价格,买盘还是卖盘可以再type里看出,因为数据量太大,成交的时间类型都以缺省的memo显示,当然如果想查看可以把鼠标放上去即可显示。好了本篇展示的获取以及读入数据到本地已经完成。

相关文章

  • #数据操作初步

    前面介绍了数据研究平台的安装,这片介绍如何用现成的库以及工具获取和导出数据。大部分的人物可在IDLE里完成。 因为...

  • 初步操作

    接下来我们可以新增一个表和数据 use dbname //创建一个新的库 db.collectionName.in...

  • mongodb 数据库语句的小结

    先看一下 官方GUI 的初步使用 campass 的 增删改查 操作 campass 插入数据 点击 in...

  • 学习小组Day6笔记--安之若素

    R包与R的初步数据操作 R包下载与加载R包的获取 file.edit('~/.Rprofile') #生成R配置...

  • 5-对象内存分析

    对象实例化操作初步分析    Java之中类属于引用数据类型,引用数据类型最大的困难之处在于要进行内存的管理,同时...

  • LSTM 实践--股票数据分析(1)

    1. 前言 本文意在对LSTM有初步的实践操作, 相关代码在tec4tensorflow , 相关数据集在 sto...

  • DAY 17 给你的数据透视表化个妆

    今天是特训营第17天,昨天我们初步认识了功能强大的数据透视表,今天老师实际操作教导我们学习数据透视表的布局...

  • 简明的MYSQL教程(一)

    MySQL基础 1.数据库基本概念 2.MySQL的初步了解 3.创建/删除数据库 4.创建表以及表的操作 1.数...

  • RxSwift-搞事情(一)

    一、初步了解 RxSwift的实现概括为4个流程,在RxSwift中,所有异步操作(事件)和数据流均被抽象为可观察...

  • 第一学段(1~2年级)

    【内容要求】 1.数据分类 会对物体、图形或数据进行分类,初步了解分类与分类标准的关系,形成初步的数据意识。 【学...

网友评论

      本文标题:#数据操作初步

      本文链接:https://www.haomeiwen.com/subject/drzvqttx.html