美文网首页
【学习】hadoop各种问题

【学习】hadoop各种问题

作者: X_Ran_0a11 | 来源:发表于2019-07-25 01:27 被阅读0次

    1、端口指南
    https://blog.csdn.net/u011563666/article/details/79026114
    用于 https服务的端口就是直接可以通过网址访问的,比如
    NameNode - http://localhost:9870 (原来是50070,改为了9870)
    ResourceManager - http://localhost:8088

    2、python权限
    用python上传文件到hadoop显示没有权限,直接在终端里面是可以操作的,查看了一下,hadoop文件价原本的权限是:
    rw-r--r--,第一部分RW-代表当前用户具有读写的权限。第二部分的R--代表当前用户所在的用户组中其他成员只有读得权限,最后一个R--表示额外的其他用户只有读得权限。
    所以用命令更改文件夹权限为rwx rwx rwx那么普通用户就可以成功的访问hdfs了,可以执行写入hadoop 分布式文件系统。
    https://blog.csdn.net/OldDirverHelpMe/article/details/90144986

    3、mysql权限
    mysql执行导出任务时,显示报错:

    select * from top_value into outfile '/Users/ranmo/Desktop/数据分析案例/top_value.csv';
    
    OS errno 13 - Permission denied
    

    所以是权限问题:https://www.cnblogs.com/puloieswind/p/5845638.html
    要么是导出目标文件夹没有权限,要么是数据库没有权限。
    用ls -l命令查看目标文件夹权限后,执行chmod -R 777 /Users/ranmo/Desktop/数据分析案例/ ,此时目标文件夹有权限但是仍旧无法导入。
    推测是数据库没有权限,执行cd /usr/local/mysql/data/ 竟然都无法进去,用chmod -R 777 /usr/local/mysql/data/ 赋予权限也不行,只能采用手动前往目录文件夹——显示简介—更改权限的方法人工调整,之后数据库能进来了,但是也只有采用人工调整的办法更改所有文件权限,更改之后:

    (base) ranmodeiMac:data ranmo$ ls -l
    total 338248
    drwxrwxrwx   12 _mysql  _mysql       408  7 23 23:51 #innodb_temp
    -rw-r-----    1 _mysql  _mysql        56  7 23 02:52 auto.cnf
    -rw-r-----    1 _mysql  _mysql       667  7 23 02:52 binlog.000001
    -rw-r-----    1 _mysql  _mysql     83865  7 23 20:26 binlog.000002
    -rw-r-----    1 _mysql  _mysql       178  7 23 23:40 binlog.000003
    -rw-r-----    1 _mysql  _mysql       178  7 23 23:44 binlog.000004
    -rw-r-----    1 _mysql  _mysql       178  7 23 23:48 binlog.000005
    -rw-r-----    1 _mysql  _mysql       178  7 23 23:51 binlog.000006
    -rw-r-----    1 _mysql  _mysql       155  7 23 23:51 binlog.000007
    -rw-r-----    1 _mysql  _mysql       112  7 23 23:51 binlog.index
    -rw-------    1 _mysql  _mysql      1676  7 23 02:52 ca-key.pem
    -rw-r--r--    1 _mysql  _mysql      1112  7 23 02:52 ca.pem
    -rw-r--r--    1 _mysql  _mysql      1112  7 23 02:52 client-cert.pem
    -rw-------    1 _mysql  _mysql      1676  7 23 02:52 client-key.pem
    drwxrwxrwx   77 _mysql  _mysql      2618  7 23 03:16 hive
    -rw-r-----    1 _mysql  _mysql      3858  7 23 23:51 ib_buffer_pool
    -rw-r-----    1 _mysql  _mysql  50331648  7 23 23:51 ib_logfile0
    -rw-r-----    1 _mysql  _mysql  50331648  7 23 02:52 ib_logfile1
    -rw-r-----    1 _mysql  _mysql  12582912  7 23 23:51 ibdata1
    -rw-r-----    1 _mysql  _mysql  12582912  7 23 23:51 ibtmp1
    drwxrwxrwx    8 _mysql  _mysql       272  7 23 02:52 mysql
    -rw-r-----    1 _mysql  _mysql  24117248  7 23 23:51 mysql.ibd
    -rw-r-----    1 _mysql  _mysql      7959  7 23 23:51 mysqld.local.err
    -rw-r-----    1 _mysql  _mysql         5  7 23 23:51 mysqld.local.pid
    drwxrwxrwx  105 _mysql  _mysql      3570  7 23 02:52 performance_schema
    -rw-------    1 _mysql  _mysql      1680  7 23 02:52 private_key.pem
    -rw-r--r--    1 _mysql  _mysql       452  7 23 02:52 public_key.pem
    -rw-r--r--    1 _mysql  _mysql      1112  7 23 02:52 server-cert.pem
    -rw-------    1 _mysql  _mysql      1676  7 23 02:52 server-key.pem
    drwxrwxrwx    3 _mysql  _mysql       102  7 23 02:52 sys
    -rw-r-----    1 _mysql  _mysql  11534336  7 23 23:51 undo_001
    -rw-r-----    1 _mysql  _mysql  11534336  7 23 23:40 undo_002
    

    几个库,包括hive库是全权限啊,然而还是无法导出。。。
    最后参考这个办法,成功了:
    https://blog.csdn.net/zx1245773445/article/details/82316268
    http://www.360doc.com/content/15/1231/20/1073512_524491459.shtml
    所以其实还是数据库权限问题,只能先导出到临时目录,再进行转换了。

    4、shell中操作mysql问题:
    https://blog.csdn.net/long12310225/article/details/77521957
    在shell中进入mysql然后单独执行sql语句没有任何问题,最后也可以用quit;退出,
    但是如果是执行sh脚本,脚本中用eof执行sql语句的话,就不一样了?!!一个是创建新表列名不能喊引号’,还有最后退出是exit 不是quit; ??目前遇到这些问题,可能之后还有更多问题。

    5、mac shell定时
    https://www.jianshu.com/p/bc3441f88e36

    相关文章

      网友评论

          本文标题:【学习】hadoop各种问题

          本文链接:https://www.haomeiwen.com/subject/nivblctx.html