注意：本教程不适合零基础新手，可能会省略部分"简单"的细节，仅作为再次安装ubuntu的快速参考。
安装
首先下载ubuntu系统镜像，为了更快的下载速度可以使用清华的镜像，以19.04版本为例，下载地址为https://mirrors.tuna.tsinghua.edu.cn/ubuntu-releases/disco/ubuntu-19.04-desktop-amd64.iso
下载好之后，如果是用虚拟机，将iso加载到CD上即可安装，如果是在PC上安装，可以用rufus之类的工具烧录到u盘上，然后从u盘启动安装。
设置sudo免密码
每次sudo都要输入密码，很是麻烦，修改配置文件
sudo visudo
在文件尾加上
username ALL=(ALL:ALL) NOPASSWD:ALL
其中username是你的用户名。“加在文件尾”这一点很重要，因为后面的策略会覆盖前面的策略，如果加在前面就可能被覆盖掉而无效。
设置默认文本编辑器
我个人比较偏向于使用简单易用的nano，想从nano改为vim或者从vim改为nano，可以用
sudo update-alternatives --config editor
更换apt源
这里我们同样使用清华的源，以19.04版本为例（其他版本见此），编辑/etc/apt/sources.list文件，加入以下内容（为加快速度注释掉了deb-src，想用的话可以取消注释）
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ disco main restricted universe multiverse
#deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ disco main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ disco-updates main restricted universe multiverse
#deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ disco-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ disco-backports main restricted universe multiverse
#deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ disco-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ disco-security main restricted universe multiverse
#deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ disco-security main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ disco-proposed main restricted universe multiverse
#deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ disco-proposed main restricted universe multiverse
更换完之后对系统进行更新
sudo apt-get update
sudo apt-get upgrade
更换pip/pip3源(选做)
在控制台执行以下命令设置清华源，如果用的是pip则将下面的pip3替换为pip
pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
设置服务器RSA密钥登录
如果使用的是服务器，设置弱密码存在较大风险，比较安全的做法是改用密钥登录并禁用密码登录。
首先需要使用PuTTYgen之类的生成工具生成公钥/私钥对，生成好的公钥为如下的一串：
ssh-rsa AAAAB3...luwDMw==
用用户名密码登录服务器后，创建文件夹~/.ssh，编辑文件~/.ssh/authorized_keys，将上面的公钥粘贴进去，保存文件。此时应该就可以正常使用了，可以退出并重新登录一次，验证密钥登录是否成功，如果不成功则需要检查一下是否是文件权限的问题，用chmod修改读取权限。
验证成功之后，就可以禁用密码登录方式了。具体步骤是，编辑/etc/ssh/sshd_config文件，添加如下语句
PasswordAuthentication no
保存文件，执行sudo systemctl restart ssh重启sshd服务，这样下次登录的时候就不能再用密码。再次提醒，一定要先验证可以用密钥登录，不然就再也无法登录了！
美化
本着实用为目的，这里只做一些基本的美化，最终效果如下图所示
效果图
首先我们需要安装tweak tools及拓展工具
sudo apt-get install gnome-tweak-tool
sudo apt-get install gnome-shell-extensions
sudo apt-get install chrome-gnome-shell
安装Arc主题
sudo apt-get install arc-theme
安装papirus图标
sudo apt-get install papirus-icon-theme
安装完成后，在软件中搜索tweaks，打开修改工具，我的配置如下，仅供参考
配置
如果想把dash放在屏幕下方居中的话，下载DashtoDock这个拓展即可，查看自己的gnome版本号用
gnome-shell --version
软件配置
pyspark
1.安装jdk
sudo apt-get install openjdk-8-jdk
2.安装py4j
pip3 install py4j
3.下载pyspark
wget "https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz"
tar xvf spark-2.4.3-bin-hadoop2.7.tgz
在~/.bashrc文件中添加pyspark的路径，其中xxx按上面下载的实际情况填写
export SPARK_HOME=/xxx/spark-2.4.3-bin-hadoop2.7
export PATH=${SPARK_HOME}/bin:$PATH
保存之后激活
source ~/.bashrc
4.设置及测试
现在输入pyspark就可以进入交互式spark环境，和python交互式环境类似，开头会有一堆log信息，将log的等级从INFO修改为WARN看起来会舒服很多，修改方法如下
cd ${SPARK_HOME}
cp conf/log4j.properties.template conf/log4j.properties
nano conf/log4j.properties
把文件中的
log4j.rootCategory=INFO, console
替换为
log4j.rootCategory=WARN, console
如果想使用ipython3的话，需要设置环境变量
export PYSPARK_DRIVER_PYTHON=ipython3
export PYSPARK_PYTHON=python3
单次运行pyspark也可以用
PYSPARK_DRIVER_PYTHON=ipython3 pyspark
最后，我们可以运行一个计算Pi的程序来测试一下
${SPARK_HOME}/bin/run-example SparkPi 10
网友评论