第一次写了一个爬虫程序,主要是从ASPX页面获取数据,然后上传到我的服务器数据库。由于数据需要每天更新一次,随身携带电脑不方便,便发现了termux这个神器。程序代码我就不贴出来了,第一次用python写的,免得被喷。主要是引入这几个库。
import requests
from bs4 import BeautifulSoup
import pymysql
import re
程序在pc端完美运行。
现在我们开始在手机上搭建运行环境。
第一步 下载termux
F-Droid 编译的,在手机上安装。
然后到手机设置中开启 Termux 的存储权限
修改Termux的源地址
和Linux类似,Termux有自己的软件源,安装Termux后默认的软件源是Termux官网,即http://termux.net,可打开源列表查看。
export EDITOR=vi
apt edit-sources
改为这个样子,把默认源注释掉,增加清华的源:
# The main termux repository:
#deb https://termux.net stable main
deb http://mirrors.tuna.tsinghua.edu.cn/termux stable main
注:在vi里修改 先按i,进入编辑模式,编辑完成后,按ESC,输入:wq保存退出。打开功能键盘需要按音量+ 与q键
然后
apt updage
apt upgrade
更新列表
更多的参考链接:https://www.jianshu.com/p/5c8678cef499
第二部 安装python
接下来我们就安装python环境了
apt install python
需要确认的就点y
输入python -V 查看是否安装成功,输入
pip install --upgrade pip //升级pip
然后我们安装第三方包
pip3 install requests BeautifulSoup4
输入pip3 install pymysql会出现编译错误,提示没有编译环境,输入:
apt install clang // clang 是一个轻量级编译器,更多请百度
再次输入会报找不到Python.h,需要编译的调用python api的c文件
apt install python-dev
然后继续安装pymysql,出现找不到crypt.h,
apt install libcrypt-dev
之后会遇到没有ffi.h、openssl.h
apt install libffi-dev openssl-dev
最后pymysql安装成功,运行python爬虫并上传至服务器数据库正常。
注:打开手机文件管理器,找到 py文件,点击选择文本,用termux打开即可把文件放到termux的download目录下
网友评论