美文网首页
数据处理

数据处理

作者: 部落大圣 | 来源:发表于2018-08-23 00:45 被阅读5次

我们知道urllib.request.urlopen()方法是不区分请求方式的,识别请求方式主要通过参数data是否为None。如果向服务器发送POST请求,那么参数data需要使用urlib.parse对参数内容进行处理。
Urllib在请求访问服务器的时候,如果发生数据传递,就需要对内容进行编码处理,将包含str或bytes对象的两个元素序列转换为百分比编码的ASCII文本字符串。如果字符串要作业POST,那么它应该被编码为字节,否则会导致TyepeError错误。
Urllib发送POST请求的方法如下:

import urllib.request
import urllib.parse
url = 'https://movie.douban.com/'
data = {
    'value': 'true'
}
# 数据处理
data = urllib.parse.urlencode(data).encode('utf-8')
response = urllib.request.urlopen(url, data=data)
print(response)

代码中urllib.parse.urlencode(data)将数据转换成字节的数据类型,而encode('utf-8')设置字节的编码格式。这里需要主要的是,编码格式主要根据网站的编码格式来决定。urlencode()作用只是对请求参数做数据格式转换处理。
除此之外,urllib还提供了quote()和unquote()对URL编码处理,使用方法如下

import urllib.parse
url = '%2523%25E7%25BC%2596%25E7%25A8%258B%2523'
# 第一次解码
first = urllib.parse.unquote(url)
print(first)
# 输出:'%23%E7%BC%96%E7%A8%8B%23'
# 第二次解码
second = urllib.parse.unquote(first)
print(second)
# 输出:‘#编程#’

相关文章

  • js实现数组对象去重并统计重复个数

    数据处理前 数据处理后

  • 大数据学习导图

    数据获取 数据获取与查看 数据处理 数据处理I:缺失值填补 数据处理II:数据转换 数据处理III:无量纲化 特征...

  • 第一章 spark-streaming的概述

    section 1 spark-streaming是什么 //数据处理的方式角度 流式数据处理 批量数据处理 //...

  • 大数据学习路线

    一、大数据处理流程 上图是一个简化的大数据处理流程图,大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应...

  • swift JSON转model 使用Codable

    简单数据处理 定义模型名称 json数据定义 数据解析 复杂数据处理 定义json 定义模型 解析数据处理 列表数...

  • Spark Streaming 1.基本操作

    1. 数据分析分类: 流式数据处理:多条数据缓冲一起处理批量数据处理:一条数据一处理 实时数据处理:数据处理延迟时...

  • Python| Pandas

    01 强大的数据处理能力 Python有强大的数据处理能力。我们都使用过Excel,它的数据处理能力已经非常强大,...

  • 实战篇--有关做大数据项目的开发流程

    前言 有关做大数据项目的开发流程数据处理--->后端调用--->前端展示 一、数据处理 数据处理主要负责:看数据是...

  • 无标题文章

    DataEngine数据处理流程 DataEngine数据处理流程包含如下步骤: changevalidatepu...

  • Kaggle_01_Titanic

    1. 数据处理 简单分为三种:缺失数据处理、新特征生成和数据归一化 1.1 缺失数据处理: (1) 直接丢掉 - ...

网友评论

      本文标题:数据处理

      本文链接:https://www.haomeiwen.com/subject/jhapvftx.html