要建立一个面向全公司的画像库,我们希望用户看到目录结构,便能了解数据的存储逻辑 。其实现的难点在于,不同于数仓的数...[作者空间]
1、oozie使用方法 1.1 创建workflow这一步相当于创建任务流程图。配置并行处理与串行依赖任务。 1....[作者空间]
背景 在linux上执行脚本,当退出页面或电脑锁屏后,脚本就停止执行了。对需要长时间运行的脚本非常不友好。 后台自...[作者空间]
前言 创建python虚拟环境:用一个工具包,在不同项目上采用的版本不同,由此造成多个项目互相不兼容。因此创建虚拟...[作者空间]
前言 不建议安装python3.7及以上的版本。跟tensorflow兼容性不好。目前大多在使用的tensorfl...[作者空间]
背景 当前在服务器上部署python程序,遇到impala取数无法返回的情况。 故障排除 1.1 确定当前遇到im...[作者空间]
1、前言 默认安装python的三方库时,采用如下语句(以numpy为例): 这会导致下载工具包非常慢,毕竟下载的...[作者空间]
pool.join()是主程序等我这个进程执行完毕了,程序才执行后续代码。 转自https://www.cnblo...[作者空间]
背景 最近做jieba分词,需要导入自定义词库用来切词。但是导入一次自定义词库需要耗时0.6s左右,延迟太长。尤其...[作者空间]
今天在处理python日志的时候,出现了这个问题。 背景 在使用flask+gunicorn将算法用多进程部署在服...[作者空间]
Pinyin2Hanzi实现拼音转汉子的功能,但是,拼音必须是规范的。否则会出现如下情形: 返回结果为空。 解决办...[作者空间]
在centOS下import cv2报错ImportError: libSM.so.6: cannot open ...[作者空间]
最近对文件夹下的所有图像批量读取,并将数据写入指定的相对路径的文件夹,出现以下bug。 具体代码、数据的文件布置如...[作者空间]
最近要开始写一个正经的程序,以前都是写的一些demo,因此程序的功能模块的布置需要有点讲究。查了资料,突然发现可以...[作者空间]
前言 由于在anaconda下直接输入: 往往安装失败。 本地安装+少量网络下载 介绍一种本地安装+少量网络下载的...[作者空间]
1、OpenCV在jupyter notebook中显示图像 2、为什么画出的图像和原图有色差呢? opencv的...[作者空间]
使用IDEA运行sparkStreaming时报错Exception in thread "main" java....[作者空间]
安装好的Hadoop系统验证是否安装成功时使用命令: 结果报错:解决方法 hadoop fs -ls 命令的完整语...[作者空间]
搭建好hadoop环境后,我们想在hadoop下试运行一下wordcount程序,以验证hadoop的完整性。1、...[作者空间]
搭建Hadoop环境 参考资源:https://www.bilibili.com/video/av35160553...[作者空间]