美文网首页
API抓取数据作业及总结

API抓取数据作业及总结

作者: 小耿_da0a | 来源:发表于2017-08-03 16:22 被阅读174次

    总结

    昨天练习了两次WEP API,花了八个小时,在后面的两个小时做作业,还是没做出来。今天花了两个小时做了两个出来:一个是抓云币的数据,参考同学:https://forum.qzy.camp/t/api/1687;另一个是抓足球赛事的数据。
      总结一下:

    先问问题:我是怎么想得?怎么做的?结果怎样?花了多长时间?我要总结什么?有什么要改?有什么优点和好的做法要继续的保持?套路是什么?

    解答:

    1. 我是如此想: 对不熟的东西,要先打个照面;先做一遍,看出来的效果,然后把不懂的抄写。
    2. 如此做:我还是按照先做一遍,然后手打一遍,没有复盘,然后对不懂的手抄了一两遍。
    3. 昨天结果是很懵逼,感觉很失败,没有成就感。今天做完了作业也感觉没什么,也不是很难。
    4. 好的做法要保持:
    • 连续专注的学习
    • 不怕困难
    1. 要改进的地方:
    • 第一遍复制黏贴,不需要手打;第二遍边手打边思考,看输出什么,什么代码有怎样的结果;然后尝试做一个类似的东西、项目出来(这个很重要);最后总结套路出来
    • 写总结,还有“进步本”;总结套路,记录所学知识及要点,及时复习

    API套路

    一、首先拿数据,在终端测试

    用 rest-client 抓下来观察看看,拿我用的聚合数据里面足球积分榜的数据来做:

    接下来实验 Ruby 客户端,用 Ruby 程序来抓取上述的资料。
    进入 irb:

    gem install rest-client
    require 'rest-client'
    require 'json'
    response = RestClient.get "http://v.juhe.cn/football/scorerank.php", :params => { :key => "5a24681a17011d0d74229ed30f13fd77", :league_id => "2" } 
    data = JSON.parse(response.body)
    

    我一直纠结不知道怎么把这个需要参数的数据提出来,后来看到这个key的输入方式,想到加入这个league_id的方式,放进去可以奏效。
    成功的话会显示如下:

    image.png

    那这个数据可以用咯。

    二、建立专案
    1. 建立Model
    rails new api_(自己取名)
    cd api_(上面的名字)
    git init
    

    加入gem gem 'rest-client,然后bundle install
    执行rails g model scoreranks这个model名字没改好,感觉改teams更好。
    编辑这个档案db/migrate/2017xxxxxxxx_create_scroeranks.rb

    class CreateScoreranks < ActiveRecord::Migration[5.0]
      def change
        create_table :scoreranks do |t|
          t.integer :juhe_id
          t.integer :league_id
            t.integer :team_group
            t.integer :team_id
            t.string :name_zh
            t.string :known_name_zh
            t.integer :played
            t.integer :rank_index
            t.integer :win
            t.integer :draw
            t.integer :lost
            t.integer :hits
            t.integer :miss
            t.integer :difference
            t.integer :score
            t.string :avg_goal_hit
            t.string :avg_goal_lost
            t.string :avg_goal_win
            t.string :avg_score
            t.integer :season_id
    
          t.timestamps
    
        end
      end
    end
    

    然后rake db:migrate

    1. 抓取数据储存
      新增lib/tasks/dev.rake
    namespace :dev do
      task :fetch_scorerank => :environment do
        puts "Fetch scorerank data..."
        response = RestClient.get "http://v.juhe.cn/football/scorerank.php", :params => { :key => "5a24681a17011d0d74229ed30f13fd77", :league_id => "2", :season_id => "2016" }
        data = JSON.parse(response.body)
    
        data["result"].each do |c|
          existing_scorerank = Scorerank.find_by_juhe_id( c["id"] )
          if existing_scorerank.nil?
            Scorerank.create!( :juhe_id => c["id"], :season_id => c["season_id"],
            :league_id => c["league_id"],:team_group => c["team_group"], :team_id => c["team_id"],
            :name_zh => c["name_zh"], :known_name_zh => c["known_name_zh"], :played => c["played"],
            :rank_index => c["rank_index"], :win => c["win"], :draw => c["draw"], :lost => c["lost"],
            :hits => c["hits"], :miss => c["miss"], :difference => c["difference"], :score => c["score"],
            :avg_goal_hit => c["avg_goal_hit"], :avg_goal_lost => c["avg_goal_lost"],
            :avg_goal_win => c["avg_goal_win"], :avg_score => c["avg_score"] )
    
          end
        end
    
        puts "Total: #{Scorerank.count} Scorerank"
      end
    end
    

    执行 bundle exec rake dev:fetch_scorerank就会把数据存入了。
    上面这块我纠结了最长时间,老是bundle都显示错误,首先create!后面的括号要紧跟,别有空格,另外格式要对,别少了字母c。

    后面就可以按照教程来做了。

    相关文章

      网友评论

          本文标题:API抓取数据作业及总结

          本文链接:https://www.haomeiwen.com/subject/nleplxtx.html