lore 作为小众的 model serving ，从模型编写到模型训练 部署预测 基本上都封装好了，自己也总算 通过一个小demo 完成了 lore 的预测 ，当然中间 还有一些坑，我之前在 mac上运行还算顺利，后来在centos 7上还是发现 报了不少错误，
- lore 依赖 postresql 和 pyenv 两个基础的工具,postgresql 用来存储一些内容，pyenv 是为了lore
另外需要先 下载 pyenv 的一些python 版本 ，不然 在 使用 lore 初始化的时候还是 会报 git -C pull 等奇怪的错误
比如先 安装 python 3.5.3 版本
pyenv install 3.5.3 -v
首先 本地的centos 一定要先安装 postgresql ，
yum install -y postgresql
然后 安装pyenv
git clone https://github.com/yyuu/pyenv.git ~/.pyenv
记得要授权 并 加入到环境变量中
git clone git://github.com/yyuu/pyenv.git ~/.pyenv
vim ~/.bashrc /etc/profile
export PYENV_ROOT="HOME/.pyenv" export PATH="PYENV_ROOT/bin:PATH" eval "(pyenv init -)"
参考 https://www.cnblogs.com/chinchillas/p/7462297.html
https://www.jianshu.com/p/228cd025a368
另外好像还需要 virtualbox
wget https://download.virtualbox.org/virtualbox/5.2.16/VirtualBox-5.2-5.2.16_123759_el7-1.x86_64.rpm
这些都可以了 话 lore 基本额可以开始捣鼓了
2.初期我使用的是这个lore 的 demo
http://www.sohu.com/a/225437837_129720
git clone https://github.com/montanalow/my_app.git
3.开始 编码 时 第一步卡在了 获取数据集上
instacart_online_grocery_shopping_2017_05_01.tar.gz 这个dataset 放在 aws s3上，在你下载时会在url上 加上 随机的字符串，没有办法，我只能先使用用浏览器下载到本地，然后在项目中 写清楚 读取路径
第二步 卡在了 pyenv 的python环境，想不到 lore 不支持 3.5 以下的python 版本，没有办法重新下载 3.5.2 ，3.5.4 等其他版本
第三步 卡在了 centos 7 没有安装 bz 2压缩格式的包 ，导致 python 无法安装 bzip ,
第四步 卡在了 fit 上 在test 和 fit 时 lore才会去把 需要的包 开始下载下来，这个下载是一个增量下载，但是吧 ，经常下载不全，导致 项目缺少包 无法运行，发现少了
比如
psycopg2==2.6.1
records==0.3.0
还有pandas 的版本 影响
最后 是在不想再耽误了，干脆把所有依赖的包都填上了，记得修改 pip的下载源 为豆瓣
absl-py==0.3.0
backcall==0.1.0
bleach==1.5.0
boto3==1.7.63
boto==2.49.0
botocore==1.10.63
bz2file==0.98
certifi==2018.4.16
chardet==3.0.4
click==6.7
cycler==0.10.0
decorator==4.3.0
dill==0.2.8.2
docopt==0.6.2
docutils==0.14
entrypoints==0.2.3
et-xmlfile==1.0.1
Flask==0.12.4
graphviz==0.8.4
h5py==2.8.0
html5lib==0.9999999
idna==2.7
iml==0.6.1
inflection==0.3.1
ipykernel==4.8.2
ipython-genutils==0.2.0
ipython==6.4.0
ipywidgets==7.3.0
itsdangerous==0.24
jdcal==1.4
jedi==0.12.1
Jinja2==2.9.6
jmespath==0.9.3
jsonschema==2.6.0
jupyter-client==5.2.3
jupyter-console==5.2.0
jupyter-core==4.4.0
jupyter==1.0.0
Keras==2.1.6
kiwisolver==1.0.1
lore==0.6.11
Markdown==2.6.11
MarkupSafe==1.0
matplotlib==2.2.2
mistune==0.8.3
nbconvert==5.3.1
nbformat==4.4.0
notebook==5.6.0
numpy==1.14.5
odfpy==1.3.6
openpyxl==2.5.4
pandas==0.23.3
pandocfilters==1.4.2
parso==0.3.1
pbr==4.2.0
pexpect==4.6.0
pickleshare==0.7.4
prometheus-client==0.3.0
prompt-toolkit==1.0.15
protobuf==3.6.0
psycopg2==2.6.1
ptyprocess==0.6.0
pydot==1.2.4
Pygments==2.2.0
pyparsing==2.2.0
python-dateutil==2.7.3
pytz==2018.5
PyYAML==3.13
pyzmq==17.1.0
qtconsole==4.3.1
records==0.3.0
requests==2.19.1
s3transfer==0.1.13
scikit-learn==0.19.2
scipy==1.1.0
Send2Trash==1.5.0
shap==0.12.1
simplegeneric==0.8.1
six==1.11.0
smart-open==1.5.7
sqlalchemy-migrate==0.11.0
SQLAlchemy==1.2.10
sqlparse==0.2.4
tablib==0.12.1
tabulate==0.8.2
Tempita==0.5.2
tensorflow-tensorboard==1.5.1
tensorflow==1.5.1
terminado==0.8.1
testpath==0.3.1
tornado==5.1
tqdm==4.23.4
traitlets==4.3.2
unicodecsv==0.14.1
urllib3==1.23
wcwidth==0.1.7
Werkzeug==0.14.1
widgetsnbextension==3.3.0
xlrd==1.1.0
xlwt==1.3.0
之后按照demo 的演示，可以正常了，不过有一个 early_stop项，迭代六次就停止了，lose 很大
SBT使用阿里云Maven仓库，解决SBT下载依赖慢。
发布时间：2018-04-09 来源：网络 上传者：用户
关键字: 阿里 仓库 sbt 依赖 解决 使用 maven 下载
发表文章
摘要：添加:~/.sbt/repositories文件文件内容:[repositories]localmy-maven-repo:http://maven.aliyun.com/nexus/content/groups/public/官方Document看这里:http://www.scala-sbt.org/0.13.2/docs/Detailed-Topics/Library-Management.html#override-all-resolvers-for-all-buil
添加:~/.sbt/repositories 文件
文件内容:
[repositories]localmy-maven-repo: http://maven.aliyun.com/nexus/content/groups/public/
example:
pyenv install 3.5.4 -v # install python 3.5.4 version for pyenv
sudo yum install -y python-devel libffi-devel libpqxx-devel
#[psycopg/psycopg.h:31:22: 致命错误：libpq-fe.h：没有那个文件或目录]
download data
lore init mxb --python-version=3.5.4 --xgboost
cd mxb
lore generate scaffold hotels --xgboost --regression --holdout
lore test tests.unit.hotels
lore fit mxb.models.hotels.XGBoost --test --score
lore notebook
lore server &
curl "http://localhost:5000/hotels.XGBoost/predict.json?product_name=Banana&department=produce"
yum install libgl libgl-devel mesa-libGL-devel mesa-libGLU-devel freeglut-devel libxcb libxcb-devel libXrender libXrender-devel xcb-util-wm xcb-util-wm-devel xcb-util xcb-util-devel xcb-util-image xcb-util-image-devel xcb-util-keysyms xcb-util-keysyms-devel -y
wget http://download.qt.io/archive/qt/5.9/5.9.2/qt-opensource-linux-x64-5.9.2.run
export SELDON_HOME=/home/muller/Documents/github/seldon-server/kubernetes
export PATH=PATH:SELDON_HOME/bin
网友评论