美文网首页程序员区块链技术研究python爬虫
比特币历史数据 - 利用 Python 从交易平台获取数据

比特币历史数据 - 利用 Python 从交易平台获取数据

作者: speculatecat | 来源:发表于2017-09-19 17:02 被阅读2075次

    根据相关政策规定,国内比特币交易将于2017年9月底关闭,但这几年里,比特币交易的历史行情数据,可能对日后用于研究经济、金融以及量化交易策略等都有重大的价值,因此,这篇文章主要讲述如何通过 Python 从交易平台提供的 API 中获取数据并保存成 CSV 文件供日后利用。

    本文主要内容如下:

    • 比特币、莱特币历史行情数据
    • 利用 Python 获取 okcoin.cn 比特币历史数据
    • 利用 Python 获取 huobi.com 比特币历史数据

    比特币、莱特币历史行情数据

    比特币和莱特币及其他几种数字货币的历史行情数据已经获取并保存为csv格式,需要用到数据的可以从 GitHub 上直接下载使用,数据获取的源码同样已经在 GitHub 上提供,想了解数据来源的可以阅读源码。 备注: 以下数据来源于网络,获取源码已公开,不对数据的准确性作任何保证,请根据实际情况使用。

    编号 标的 交易所 数据下载地址
    1 btc_cny okcoin daily_price_btc_cny.csv
    2 ltc_cny okcoin daily_price_ltc_cny.csv
    3 eth_cny okcoin daily_price_eth_cny.csv
    4 etc_cny okcoin daily_price_etc_cny.csv
    5 bcc_cny okcoin daily_price_bcc_cny.csv
    6 btc_cny huobi daily_price_btc_cny.csv
    7 ltc_cny huobi daily_price_ltc_cny.csv

    利用 Python 从 okcoin.cn 获取比特币历史数据

    我们可以参考 okcoin 提供的 API手册,获取历史行情数据。
    获取历史数据主要有两个步骤:

    • 连接 API 获取数据
    • 使用 pandas 处理数据,并保存为 csv 文件
      以下为从 okcoin.cn 获取数据的详细代码:
    import http.client
    import json
    import pandas as pd
    
    REQUEST_URL = 'www.okcoin.cn'
    KLINE_TT_COLS = ['date', 'open', 'high', 'low', 'close', 'volume']
    
    
    def http_get(url, resource, params=''):
        conn = http.client.HTTPSConnection(url, timeout=10)
        conn.request("GET", resource + '?' + params)
        response = conn.getresponse()
        data = response.read().decode('utf-8')
        return json.loads(data)
    
    
    def ticker(symbol='', data_type='1day', since=''):
        ticker_resource = "/api/v1/kline.do"
        params = ''
        if symbol:
            params = 'symbol=%(symbol)s&type=%(type)s' % {'symbol': symbol, 'type': data_type}
        if since:
            params += '&since=%(since)s' % {'since': since}
        k_data = http_get(REQUEST_URL, ticker_resource, params)
        if len(k_data) == 0:
            raise ValueError('Can not obtain the data.')
        else:
            df = pd.DataFrame(k_data, columns=KLINE_TT_COLS)
            df['date'] = pd.to_datetime(df['date'], unit='ms')
        return df
    
    
    if __name__ == '__main__':
        # okcoin.cn bitcoin - cny since 2013-6-11 ~ now, daily price history
        daily_price_btc_cny = ticker('btc_cny')
        daily_price_btc_cny.to_csv('./data/okcoin/daily_price_btc_cny.csv')
        # okcoin.cn litecoin - cny since 2013-9-11 ~ now daily price history
        daily_price_ltc_cny = ticker('ltc_cny')
        daily_price_ltc_cny.to_csv('./data/okcoin/daily_price_ltc_cny.csv')
        # okcoin.cn eth - cny since 2017-5-31 ~ now daily price history
        daily_price_eth_cny = ticker('eth_cny')
        daily_price_ltc_cny.to_csv('./data/okcoin/daily_price_eth_cny.csv')
        # okcoin.cn etc - cny since 2017-7-16 ~ now daily price history
        daily_price_etc_cny = ticker('etc_cny')
        daily_price_etc_cny.to_csv('./data/okcoin/daily_price_etc_cny.csv')
        # okcoin.cn bcc - cny since 2017-7-16 ~ now daily price history
        daily_price_bcc_cny = ticker('etc_cny')
        daily_price_bcc_cny.to_csv('./data/okcoin/daily_price_bcc_cny.csv')
        # okcoin.cn bitcoin - cny since 2013-6-11 ~ now, hour price history
        hour_price_btc_cny = ticker(symbol='btc_cny', data_type='1hour')
        hour_price_btc_cny.to_csv('./data/okcoin/hour_price_btc_cny.csv')
        # okcoin.cn litecoin - cny since 2013-6-11 ~ now, hour price history
        hour_price_ltc_cny = ticker(symbol='ltc_cny', data_type='1hour')
        hour_price_ltc_cny.to_csv('./data/okcoin/hour_price_ltc_cny.csv')
    

    利用 Python 从 huobi.com 获取比特币历史数据

    与从 okcoin.cn 获取历史数据类似,参考 huobi.com 提供的 API 手册,详细代码如下:

    import http.client
    import json
    import pandas as pd
    
    REQUEST_URL = 'api.huobi.com'
    KLINE_TT_COLS = ['date', 'open', 'high', 'low', 'close', 'volume']
    
    
    def http_get(url, resource, params=''):
        conn = http.client.HTTPSConnection(url, timeout=10)
        conn.request("GET", resource + '?' + params)
        response = conn.getresponse()
        data = response.read().decode('utf-8')
        return json.loads(data)
    
    
    def ticker(symbol=''):
        ticker_resource = "/staticmarket/%(symbol)s_kline_100_json.js" % {'symbol': symbol}
        params = ''
        if symbol:
            params = 'length=2000'
        k_data = http_get(REQUEST_URL, ticker_resource, params)
        if len(k_data) == 0:
            raise ValueError('Can not obtain the data.')
        else:
            df = pd.DataFrame(k_data, columns=KLINE_TT_COLS)
            df['date'] = pd.to_datetime(df['date'], format="%Y%m%d%H%M%S%f")
        return df
    
    if __name__ == '__main__':
        # huobi.com bitcoin - cny since 2013-9-1 ~ now, daily price history
        daily_price_btc_cny = ticker('btc')
        daily_price_btc_cny.to_csv('./data/huobi/daily_price_btc_cny.csv')
        # huobi.com litecoin - cny since 2014-3-9 ~ now daily price history
        daily_price_ltc_cny = ticker('ltc')
        daily_price_ltc_cny.to_csv('./data/huobi/daily_price_ltc_cny.csv')
    

    参考资料

    Okcoin API
    Huobi API
    GitHub

    相关文章

      网友评论

        本文标题:比特币历史数据 - 利用 Python 从交易平台获取数据

        本文链接:https://www.haomeiwen.com/subject/iwebsxtx.html