python爬虫通过图片原始url请求图片然后上传到oss中并返

作者: 程序里的小仙女 | 来源:发表于2020-10-29 10:46 被阅读0次

python爬虫通过图片原始url请求图片然后上传到oss中并返
oss 图片处理
Python学习
图片url转blob值
Python简单爬虫 - 正则表达式
ant design pro上传图片到后端
android 竖版图片逆时针90度展示问题
小程序上传图片跳坑
客户端上传文件失败
Flutter通过api上传图片到阿里OSS

简单上传提供上传字符串、上传Bytes、上传Unicode、上传网络流以及上传本地文件五种形式。

通过bucket.put_object方法上传文件。上传方法支持多种类型的输入源，输入源有如下几种类型：

类型	上传方式
字符串	直接上传
Bytes	直接上传
Unicode	自动转换为UTF-8编码的Bytes进行上传
本地文件	文件对象（File Object），必须以二进制方式打开（如“rb”模式）
网络流	可迭代对象（Iterable），以Chunked Encoding的方式上传

说明试图添加文件（Object）时，如果存储空间（Bucket）中已经存在同名文件且对该文件有访问权限，则新添加的文件将覆盖原来的文件，文件添加成功后返回200 OK。

PutObject的更多详情，请参见细节分析。

上传字符串

以下代码用于上传字符串：

# -*- coding: utf-8 -*-
import oss2

# 阿里云主账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM账号进行API访问或日常运维，请登录 https://ram.console.aliyun.com 创建RAM账号。
auth = oss2.Auth('<yourAccessKeyId>', '<yourAccessKeySecret>')
# Endpoint以杭州为例，其它Region请按实际情况填写。
bucket = oss2.Bucket(auth, 'http://oss-cn-hangzhou.aliyuncs.com', '<yourBucketName>')

# 上传文件
# 如果需要上传文件时设置文件存储类型与访问权限，请在put_object中设置相关headers, 参考如下。
# headers = dict()
# headers["x-oss-storage-class"] = "Standard"
# headers["x-oss-object-acl"] = oss2.OBJECT_ACL_PRIVATE
# result = bucket.put_object('<yourObjectName>', 'content of object', headers=headers)
result = bucket.put_object('<yourObjectName>', 'content of object')

# HTTP返回码。
print('http status: {0}'.format(result.status))
# 请求ID。请求ID是请求的唯一标识，强烈建议在程序日志中添加此参数。
print('request_id: {0}'.format(result.request_id))
# ETag是put_object方法返回值特有的属性。
print('ETag: {0}'.format(result.etag))
# HTTP响应头部。
print('date: {0}'.format(result.headers['date']))

上传Bytes

以下代码用于上传Bytes：

# -*- coding: utf-8 -*-

import oss2

# 阿里云主账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM账号进行API访问或日常运维，请登录 https://ram.console.aliyun.com 创建RAM账号。
auth = oss2.Auth('<yourAccessKeyId>', '<yourAccessKeySecret>')
# Endpoint以杭州为例，其它Region请按实际情况填写。
bucket = oss2.Bucket(auth, 'http://oss-cn-hangzhou.aliyuncs.com', '<yourBucketName>')

bucket.put_object('<yourObjectName>', b'content of object')

上传Unicode

以下代码用于上传Unicode：

# -*- coding: utf-8 -*-
import oss2

# 阿里云主账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM账号进行API访问或日常运维，请登录 https://ram.console.aliyun.com 创建RAM账号。
auth = oss2.Auth('<yourAccessKeyId>', '<yourAccessKeySecret>')
# Endpoint以杭州为例，其它Region请按实际情况填写。
bucket = oss2.Bucket(auth, 'http://oss-cn-hangzhou.aliyuncs.com', '<yourBucketName>')

bucket.put_object('<yourObjectName>', u'content of object')

上传网络流

以下代码用于上传网络流：

# -*- coding: utf-8 -*-
import oss2
import requests

# 阿里云主账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM账号进行API访问或日常运维，请登录 https://ram.console.aliyun.com 创建RAM账号。
auth = oss2.Auth('<yourAccessKeyId>', '<yourAccessKeySecret>')
# Endpoint以杭州为例，其它Region请按实际情况填写。
bucket = oss2.Bucket(auth, 'http://oss-cn-hangzhou.aliyuncs.com', '<yourBucketName>')

# requests.get返回的是一个可迭代对象（Iterable），此时Python SDK会通过Chunked Encoding方式上传。
input = requests.get('http://www.aliyun.com')
bucket.put_object('<yourObjectName>', input)

上传本地文件

以下代码用于上传本地文件：

# -*- coding: utf-8 -*-
import oss2

# 阿里云主账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM账号进行API访问或日常运维，请登录 https://ram.console.aliyun.com 创建RAM账号。
auth = oss2.Auth('<yourAccessKeyId>', '<yourAccessKeySecret>')
# Endpoint以杭州为例，其它Region请按实际情况填写。
bucket = oss2.Bucket(auth, 'http://oss-cn-hangzhou.aliyuncs.com', '<yourBucketName>')

# 必须以二进制的方式打开文件，因为需要知道文件包含的字节数。
with open('<yourLocalFile>', 'rb') as fileobj:
    # Seek方法用于指定从第1000个字节位置开始读写。上传时会从您指定的第1000个字节位置开始上传，直到文件结束。
    fileobj.seek(1000, os.SEEK_SET)
    # Tell方法用于返回当前位置。
    current = fileobj.tell()
    bucket.put_object('<yourObjectName>', fileobj)

Python SDK还提供了一个更加便捷的方法用于上传本地文件：

bucket.put_object_from_file('<yourObjectName>', '<yourLocalFile>')

爬虫时处理图片url:
上传到阿里oss,然后生成返回新的oss的图片的链接

aliyun:
oss:
endpoint: oss-cn-hangzhou.aliyuncs.com
accessKeyId: 改成自己的id
accessKeySecret: 改成自己的秘钥
bucketName: mall-qsd

# -*- coding: utf-8 -*-
"""
 @Time   : 2020/10/29 9:54 
 @Athor   : LinXiao
 @功能   :
"""
# ------------------------------
import datetime
import io
import random
import string
import uuid

import requests
import oss2

# 储存的路径
# filePath="/house/2020-10-29/xxxx.jpg"  # xxxxx  wei
# # 指定Bucket实例，所有文件相关的方法都需要通过Bucket实例来调用。
# bucket=oss2.Bucket(oss2.Auth(access_key_id, access_key_secret), endpoint, bucket_name)

def parser(img, imageName, dirpath):
    endpoint='http://oss-cn-chengdu.aliyuncs.com'
    access_key_id='LTAI4FzinZX9M4**************'
    access_key_secret='x97sjRShD***************'
    bucket_name='fzp-*****************'
    # 指定Bucket实例，所有文件相关的方法都需要通过Bucket实例来调用。
    bucket=oss2.Bucket(oss2.Auth(access_key_id, access_key_secret), endpoint, bucket_name)
    result=bucket.put_object(f'{dirpath}/{imageName}', img.getvalue())
    print('图片上传oss success!')
    return result.status



def main(url):
    # 测试的阿里云oss储存路径,正式的为house
    dirpath='house-test'
    domain='http://oss.fapai******fang.top/'

    now=datetime.datetime.now()
    nonce=str(uuid.uuid4())

    random_name=now.strftime("%Y-%m-%d") + "/" + nonce

    imageName='{}.jpg'.format(random_name)

    img=io.BytesIO(requests.get(url, timeout=300).content)

    statusCode=parser(img, imageName, dirpath)

    if statusCode == 200:
        new_oss_url=domain + dirpath + '/' + imageName
        print(new_oss_url)
        # print(type(new_oss_url))   # <class 'str'>
        return new_oss_url


if __name__ == '__main__':
    # url='https://img.alicdn.com/bao/uploaded/i3/TB1LMGLiP39YK4jSZPctrBrUFXa_460x460.jpg'
    url='https://img.alicdn.com/bao/uploaded/i4/O1CN01CW2jEc1pOLaFef85M_!!0-paimai.jpg_460x460.jpg'

    main(url)

图片的其他处理方式示例:

<main style="box-sizing: border-box; display: block;">

| # -*- coding: utf-8 -*- |
|  |  |
|  | import json |
|  | import os |
|  |  |
|  | from PIL import Image |
|  |  |
|  | import oss2 |
|  |  |
|  |  |
|  | # 以下代码展示了图片服务的基本用法。更详细应用请参看官网文档 https://help.aliyun.com/document_detail/32206.html |
|  |  |
|  | # 首先初始化AccessKeyId、AccessKeySecret、Endpoint等信息。 |
|  | # 通过环境变量获取，或者把诸如“<你的AccessKeyId>”替换成真实的AccessKeyId等。 |
|  | # |
|  | # 以杭州区域为例，Endpoint可以是： |
|  | # http://oss-cn-hangzhou.aliyuncs.com |
|  | # https://oss-cn-hangzhou.aliyuncs.com |
|  | # 分别以HTTP、HTTPS协议访问。 |
|  | access_key_id = os.getenv('OSS_TEST_ACCESS_KEY_ID', '<你的AccessKeyId>') |
|  | access_key_secret = os.getenv('OSS_TEST_ACCESS_KEY_SECRET', '<你的AccessKeySecret>') |
|  | bucket_name = os.getenv('OSS_TEST_BUCKET', '<你的Bucket>') |
|  | endpoint = os.getenv('OSS_TEST_ENDPOINT', '<你的访问域名>') |
|  |  |
|  |  |
|  | # 确认上面的参数都填写正确了 |
|  | for param in (access_key_id, access_key_secret, bucket_name, endpoint): |
|  | assert '<' not in param, '请设置参数：' + param |
|  |  |
|  | def get_image_info(image_file): |
|  | """获取本地图片信息 |
|  | :param str image_file: 本地图片 |
|  | :return tuple: a 3-tuple(height, width, format). |
|  | """ |
|  | im = Image.open(image_file) |
|  | return im.height, im.width, im.format |
|  |  |
|  | # 创建Bucket对象，所有Object相关的接口都可以通过Bucket对象来进行 |
|  | bucket = oss2.Bucket(oss2.Auth(access_key_id, access_key_secret), endpoint, bucket_name) |
|  |  |
|  | key = 'example.jpg' |
|  | new_pic = 'new-example.jpg' |
|  |  |
|  | # 上传示例图片 |
|  | bucket.put_object_from_file(key, 'example.jpg') |
|  |  |
|  | # 获取图片信息 |
|  | result = bucket.get_object(key, process='image/info') |
|  |  |
|  | json_content = result.read() |
|  | decoded_json = json.loads(oss2.to_unicode(json_content)) |
|  | assert int(decoded_json['ImageHeight']['value']) == 267 |
|  | assert int(decoded_json['ImageWidth']['value']) == 400 |
|  | assert int(decoded_json['FileSize']['value']) == 21839 |
|  | assert decoded_json['Format']['value'] == 'jpg' |
|  |  |
|  | # 图片缩放 |
|  | process = "image/resize,m_fixed,w_100,h_100" |
|  | bucket.get_object_to_file(key, new_pic, process=process) |
|  | info = get_image_info(new_pic) |
|  | assert info[0] == 100 |
|  | assert info[1] == 100 |
|  | assert info[2] == 'JPEG' |
|  |  |
|  | # 图片裁剪 |
|  | process = "image/crop,w_100,h_100,x_100,y_100,r_1" |
|  | bucket.get_object_to_file(key, new_pic, process=process) |
|  | info = get_image_info(new_pic) |
|  | assert info[0] == 100 |
|  | assert info[1] == 100 |
|  | assert info[2] == 'JPEG' |
|  |  |
|  | # 图片旋转 |
|  | process = "image/rotate,90" |
|  | bucket.get_object_to_file(key, new_pic, process=process) |
|  | info = get_image_info(new_pic) |
|  | assert info[0] == 400 |
|  | assert info[1] == 267 |
|  | assert info[2] == 'JPEG' |
|  |  |
|  | # 图片锐化 |
|  | process = "image/sharpen,100" |
|  | bucket.get_object_to_file(key, new_pic, process=process) |
|  | info = get_image_info(new_pic) |
|  | assert info[0] == 267 |
|  | assert info[1] == 400 |
|  | assert info[2] == 'JPEG' |
|  |  |
|  | # 图片加文字水印 |
|  | process = "image/watermark,text_SGVsbG8g5Zu-54mH5pyN5YqhIQ" |
|  | bucket.get_object_to_file(key, new_pic, process=process) |
|  | info = get_image_info(new_pic) |
|  | assert info[0] == 267 |
|  | assert info[1] == 400 |
|  | assert info[2] == 'JPEG' |
|  |  |
|  | # 图片格式转换 |
|  | process = "image/format,png" |
|  | bucket.get_object_to_file(key, new_pic, process=process) |
|  | info = get_image_info(new_pic) |
|  | assert info[0] == 267 |
|  | assert info[1] == 400 |
|  | assert info[2] == 'PNG' |
|  |  |
|  | # 删除示例图片 |
|  | bucket.delete_object(key) |
|  | # 清除本地文件 |
|  | os.remove(new_pic) |

<details class="details-reset details-overlay details-overlay-dark" id="jumpto-line-details-dialog" style="box-sizing: border-box; display: block;"><summary data-hotkey="l" aria-label="Jump to line" role="button" style="box-sizing: border-box; display: list-item; cursor: pointer; list-style: none;"></summary></details>

</main>

[](https://github.com/ "GitHub")

python_oss 的githup 地址:
https://github.com/aliyun/aliyun-oss-python-sdk

python爬虫通过图片原始url请求图片然后上传到oss中并返
简单上传提供上传字符串、上传Bytes、上传Unicode、上传网络流以及上传本地文件五种形式。通过bucket...
oss 图片处理
图片处理介绍：图片处理文章链接使用：原始图片上传到OSS后，可以通过简单的RESTful接口，在任何时间、任...
Python学习
python爬虫(六) python爬取图片素材通过爬虫爬取图片的地址以及电影的名称，然后将图片素材命名为电影名...
图片url转blob值
最近遇到图片上传问题，已知图片的url，然后把图片上传到自己的服务器。常规方案都会把图片下载到本地，然后上传到自己...
Python简单爬虫 - 正则表达式
Python爬虫快速上手，使用正则表达式匹配出网页中图片的URL，实现网页图片的批量下载： 007 - Pytho...
ant design pro上传图片到后端
我们这里是前端将图片上传到后端，然后后端这里再上传到阿里云的OSS，并返回一个文件的路径给前端先看效果上传后生...
android 竖版图片逆时针90度展示问题
前提：在做图片上传和展示的时候发现一个问题，竖版拍摄的图片上传到server然后再通过url展示的时候发现图片逆时...
小程序上传图片跳坑
背景：小程序上传图片，调用后台接口，后台接口获得文件后将该文件上传到oss上，最后返回给小程序前端oss图片路径。...
客户端上传文件失败
背景小程序上传图片，调用后台接口，后台接口获得文件后将该文件上传到oss上，最后返回给小程序前端oss图片路径。...
Flutter通过api上传图片到阿里OSS
在做flutter时遇到图片上传到阿里oss上的功能, 首先官网上没有针对dart的sdk, 因此, 我通过htt...