美文网首页
day40-MongoDB、crontab

day40-MongoDB、crontab

作者: 七一欧 | 来源:发表于2018-09-07 13:22 被阅读0次

    1、MongoDB安装

        见文档, MongoDB监听端口为27017
        链接本机:mongo 
        链接其他机器:mongo ip:27017
    
    1、windows
        安装MongoDB
            官网下载msi安装包
            https://www.mongodb.com/dr/fastdl.mongodb.org/win32/mongodb-win32-x86_64-2008plus-3.4.10-signed.msi/download
            安装,一路next即可
        新建文件夹
            c:\data\db     数据库存放目录
            c:\data\log    日志存放目录
        启动服务
            mongod.exe --dbpath c:\data\db
            启动成功,默认MongoDB监听的端口是27017
            【注】如果是默认安装路径,路径需要用引号括起来才行
            【注】或者将data文件夹放到c盘或者d盘根目录下
            【注】用管理员命令行,并且有空格的用双引号引起来即可
        启动客户端
            mongo.exe
            连接成功进入,默认  127.0.0.1:27017
        添加环境变量
            将MongoDB\Server\3.4\bin 添加到环境变量中
        将MongoDB设置为windows服务
            在终端下输入:
            mongod --dbpath "c:\data\db" --logpath "c:\data\log\MongoDB.log" --install --serviceName "MongoDB"
            启动服务  net start MongoDB
            关闭服务  net stop MongoDB
        卸载windows服务MongoDB
            mongod --dbpath "c:\data\db" --logpath "c:\data\log\MongoDB.log" --remove --serviceName "MongoDB"
    2、centos
        (1)cd /etc/yum.repos.d/
        (2)vi mongodb-org.repo
            [mongodb]
            name=MongoDB Repository
            baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/x86_64/
            gpgcheck=0
            enabled=1
        (3)yum install -y mongodb-org (需要网络)
        (4)启动MongoDB
            service mongod start
        (5)配置远程机器可以访问
            vi /etc/mongod.conf
            将  bind 127.0.0.1  这一行注释掉即可
            关闭防火墙和selinux
            service iptables stop
            setenforce 0
        (6)远程连接
            mongo 192.168.1.104:27017
    3、Ubuntu
        (1)sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 9DA31620334BD75D9DCB49F368818C72E52529D4
        (2)echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu xenial/mongodb-org/4.0 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-4.0.list
        【注】仅仅是针对于Ubuntu16.04
        (3)sudo apt-get update
        (4)sudo apt-get install -y mongodb-org
        查看服务是否启动
        pgrep mongo -l
    
        #查看版本
        mongo -version
    
        手动启动
        sudo service mongod start | stop | restart  
    
    
    

    2、MongoDB指令操作

        和mysql的对应关系
        mysql       MongoDB
        数据库      数据库
        数据表      集合(collection)
        一行数据    文档(document)  字典
        字段        键
    
    一、操作mongodb数据库
        1、创建数据库
            语法:use 数据库名
            注意:如果数据库不存在则创建数据库,否则切换到指定的数据库
            注意:如果刚刚创建的数据库不在列表内,如果要显示它,我们需要向刚刚创建的数据库中插入一些数据
            (   db.star.insert({name:"tom", age:18, gender:1,address:"北京", isDelete:0})   )
        2、删除数据库
            前提:使用当前数据库(use 数据库名)
            db.dropDatabase()
        3、查看所有数据库
            show dbs
        4、查看当前正在使用的数据库
            a、db
            b、db.getName()
        5、断开连接
            exit
        6、查看命令api
            help
    
    二、集合操作
        1、查看当前数据库下有哪些集合
            show collections
        2、创建集合
            a、
                语法:db.createCollection("集合名")
                示例:db.createCollection("class")
            b、
                语法:db.集合名.insert(文档)
                示例:db.student.insert({name:"tom", age:18, gender:1,address:"北京", isDelete:0})
    
            区别:两者的区别在于前者创建的是一个空的集合,后者创建一个空的集合并添加一个文档
    
        3、删除当前数据库中的集合
            语法:db.集合名.drop()
            示例:db.class.drop()
    【注】MongoDB中添加数据,字段可以不一样
    三、文档操作
        1、插入文档
            a、使用insert()方法插入文档
                语法:db.集合名.insert(文档)
                    插入一个:db.student.insert({name:"刘欢", age:19,address:"北京", isDelete:0})
                语法:db.集合名.insert([文档1, 文档2, ……, 文档n])
                    插入多个:db.student.insert([{name:"马德华", age:17,address:"北京", isDelete:0},{name:"凤凰女", age:20,address:"上海", isDelete:0}])
            b、使用save()方法插入文档
                语法:db.集合名.save(文档)
                    说明:如果不指定_id字段,save()方法类似于insert()方法。如果指定_id字段,则会更新_id字段的数据
                示例1:db.student.save({name:"科比", age:22,address:"洛杉矶", isDelete:0})
                示例2:db.student.save({_id:ObjectId("59950962019723fe2a0d8d17"),name:"姚明", age:23,address:"休斯顿", isDelete:0})
                如果id存在,更新数据,不存在添加数据
        2、文档更新
            a、update()方法用于更新已存在的文档
            语法:
                db.集合名.update(
                    query,     # 查询条件
                    update,    # 更新什么
                    {          # 附加功能
                        upsert:<boolean>,
                        multi:<boolean>
                    }
                )
            参数说明:
                query:update的查询条件,类似于sql里update语句内where后面的内容
                update:update的对象和一些更新的操作符($set,$inc)等,$set直接更新,$inc在原有的基础上累加后更新
                upsert:可选,如果不存在update的记录,是否当新数据插入,true为插入,False为不插入,默认为false
                multi:可选,mongodb默认是false,只更新找到的第一条记录,如果这个参数为true,就按照条件查找出来的数据全部更新
    
            需求:将刘德华的年龄更新为25
            示例:
                  db.student.update({name:"刘德华"},{$set:{age:25}})
                  累加:db.student.update({name:"刘德华"},{$inc:{age:25}})  
                  全改:db.student.update({name:"刘德华"},{$set:{age:42}},{multi:true})  
    
            b、save()方法通过传入的文档替换已有文档
                必须有_id这个键才是更新
                语法:
                    db.集合名.save(
                        document
                    )
                参数说明:
                    document:文档数据
    
        3、文档删除
            说明:在执行remove()函数前,先执行find()命令来判断执行的条件是否存在是一个良好习惯
            也可以使用查询中的and和or
            语法:
                db.集合名.remove(
                    query,
                    {
                        justOne:<boolean>
                    }
                )
            参数说明:
                query:可选,删除的文档的条件
                justOne:可选,如果为true或1,则只删除一个文档
    
            示例:db.student.remove({name:"刘德华"})
    
        4、文档查询
            a、find()方法
                语法:db.集合名.find()
                查询集合下所有的文档(数据):db.student.find()
            b、find()方法查询指定列
                语法:db.集合名.find(
                    query,
                    {
                        <key>:1,
                        <key>:1
                    }
                )
                参数说明:
                    query:查询条件
                    key:要显示的字段,1表示显示
            示例:
                查询指定条件,只显示name和age
                  db.student.find({isDelete:0},{name:1,age:1})
                查询所有只显示name和age键值
                  db.student.find({},{name:1,age:1}) 
    
            c、pretty()方法以格式化方式来显示文档
                示例:db.student.find().pretty()
                其实就是字典形式显示
    
            d、findOne()方法查询匹配结果的第一条数据
                示例:db.student.findOne({isDelete:0})
        5、查询条件操作符
            作用:条件操作符用于比较两个表达式并从Mongodb集合中获取数据
            a、大于 - $gt   greater than
                语法:db.集合名.find({<key>:{$gt:<value>}})
                示例:db.student.find({age:{$gt:20}})
            b、大于等于 - $gte  equal
                语法:db.集合名.find({<key>:{$gte:<value>}})
            c、小于 - $lt   less than
                语法:db.集合名.find({<key>:{$lt:<value>}})
            d、小于等于 - $lte
                语法:db.集合名.find({<key>:{$lte:<value>}})
            e、大于等于 和 小于等于 - $gte 和 $lte
                语法:db.集合名.find({<key>:{$gte:<value>,$lte:<value>}})
            f、等于 - :
                语法:db.集合名.find({<key>:<value>})
            g、使用_id进行查询
                语法:db.student.find({"_id":ObjectId("id值")})
                示例:db.student.find({"_id":ObjectId("5995084b019723fe2a0d8d14")})
            h、查询某个结果集的数据条数
                db.student.find().count()
            i、查询某个字段的值当中是否包含另一个值
                语法:
                示例:db.student.find({name:/love/}) 包含love
            j、查询某个字段的值是否以另一个值开头
                示例:db.student.find({name:/^li/}) 开头
                示例:db.student.find({name:/li$/}) 结尾
        6、条件查询and 和 or
            a、AND条件
                语法:db.集合名.find({条件1,条件2,……,条件n})
                示例:db.student.find({isDelete:0,age:{$gt:16}})
            b、OR条件
                语法:
                    db.集合名.find(
                        {
                            $or:[{条件1},{条件2},……,{条件n}]
                        }
                    )
                示例:db.student.find({$or:[{age:17},{age:{$gte:20}}]})
            c、AND和OR联合使用
                语法:
                    db.集合名.find(
                        {
                            条件1,
                            条件2,
                            $or:[{条件3},{条件4}]
                        }
                    )
                    sex是女
                    age>30
                    height=160 or height=158
                db.star.find({sex:'女',age:{$gt:30},$or:[{height:160},{height:158}]})
        7、limit、skip
            limit 偏移量,数量   20条数据,每页显示4条
            a、limit():读取指定数量的数据记录
                db.student.find().limit(3)
            b、skip():跳过指定数量的数据
                db.student.find().skip(3)
            c、skip与limit联合使用
                通常用这种方式来实现分页功能
                示例:db.student.find().skip(3).limit(3)
                20条数据,每页显示4条,直接得到第三页所有数据
                db.star.find().skip((3-1)*4).limit(4)
        8、排序
            语法:db.集合名.find().sort({<key>:1|-1})
            示例:db.student.find().sort({age:1})
            注意:1表示升序,-1表示降序
    
            db.star.find({sex:'女'}).sort({age:1,height:-1})
            先按照年龄升序排列,然后按照身高降序排列
    

    3、MongoDB代码操作

    一、导入 pymongo
        pip install pymongo
        from pymongo import MongoClient
    二、连接服务器 
        端口号 27017
        连接MongoDB
        连接MongoDB我们需要使用PyMongo库里面的MongoClient,一般来说传入MongoDB的IP及端口即可,第一个参数为地址host,第二个参数为端口port,端口如果不传默认是27017。
        conn = MongoClient("localhost")
        MongoClient(host='127.0.0.1',port=27017)
    三、连接数据库
        db = conn.数据库名称
        连接集合
        collection = db[collection_name]
        or
        collection = db.collection_name
        查看全部集合名称
        db.collection_names()
    
    四、插入数据
        (1) 插入一条数据
            db.user.insert({"name":"小刚","age":18,"hobby":"学习"})
        (2) 插入多条数据
            db.user.insert([{"name":"小刚","age":18,"hobby":"学习"},{"name":"xxxoo","age":48,"hobby":"学习"}]
        (3) 在3.x以上 建议 使用
            insert_one 插入一条数据
            insert_many() 插入多条数据
        (4) 返回 id  使用insert_one()或者insert_many()
            ret.inserted_id
            ret.inserted_ids   得到其  _id
    
    五、查询数据
        (1) 查询所有
            db.user.find()
            带条件的查询
            data = db.user.find({"name":"周日"})
            print(data) #返回result类似一个生成器  可以使用 next方法 一个一个 的取出来
            print(next(data))   #取出一条数据
        (2) 查询一条
            db.user.find_one()
        (3) 带条件查询
            db.user.find({"name":"张三"})
        (4) 查询 id
            from bson.objectid import ObjectId* #用于ID查询
            data = db.user.find({"_id":ObjectId("59a2d304b961661b209f8da1")})
        (5) 模糊查询
            (1){"name":{'$regex':"张"}}
            (2)import re    {'xxx':re.compile('xxx')}
        (6) sort        排序
            年龄 大于10
            data = db.user.find({"age":{"$gt":10}}).sort("age",1) #年龄 升序 查询  pymongo.ASCENDING   --升序
            data = db.user.find({"age":{"$gt":10}}).sort("age",-1) #年龄 降序 查询    pymongo.DESCENDING --降序
        (7) limit       取值
            取三条数据
            db.user.find().limit(3)
            data = db.user.find({"age":{"$gt":10}}).sort("age",-1).limit(3)
        (8) count   统计数据条数
            db.user.find().count()
        (9) skip        从第几条数据开始取
            db.user.find().skip(2)
    七、修改
        update()方法其实也是官方不推荐使用的方法,在这里也分了update_one()方法和update_many()方法,用法更加严格,
        (1) update()
            db.user.update({"name":"张三"},{"$set":{"age":25}})
            db.user.update({"name":"张三"},{"$inc":{"age":25}})
        (2) update_one() 第一条符合条件的数据进行更新
            db.user.update_one({"name":"张三"},{"$set":{"age":99}})
        (3) update_many() 将所有符合条件的数据都更新
            db.user.update_many({"name":"张三"},{"$set":{"age":91}})
        (4) 返回结果是UpdateResult类型
            然后调用matched_count和modified_count属性分别可以获得匹配的数据条数和影响的数据条数
            print(result.matched_count, result.modified_count)
    
    八、删除
        删除操作比较简单,直接调用remove()方法指定删除的条件即可,符合条件的所有数据均会被删除,
        (1) 删除 张三
            collection.remove({"name":"lilei"})
        (2) 全部删除
            collection.remove()
        (3) 依然存在两个新的推荐方法
            delete_one()和delete_many()方法,示例如下:
            delete_one()即删除第一条符合条件的数据
            collection.delete_one({“name”:“ Kevin”})
            delete_many()即删除所有符合条件的数据,返回结果是DeleteResult类型
            collection.delete_many({“age”: {'$lt':25}})
        (4) 可以调用deleted_count属性获取删除的数据条数。
            result.deleted_count
    
    九、关闭连接
        conn.close()
    
    

    crontab

    crontab 详解
    计划任务
    场景:
        要求你每天晚上备份一下你的数据库,凌晨4点
        每隔一分钟抓取一次你竞争对手的网站,建立情报
        
    1、crontab -e   
        给当前用户添加调度任务
        新建任务调度指令
        编写脚本   /out.sh  
            #!/bash/sh
            cd /
            ls -l > /1.txt
        编写任务脚本定时执行这个shell脚本
        
        crontab文件的格式:M H D m d cmd
        分钟:0-59  每分钟使用*  或者 */1
        小时:0-23
        日期:1-31
        月份:1-12
        星期:0-6   0表示星期天
        #分钟 小时  日期  月份  星期  指令
          17    12      9       4       6       /out.sh  4月9号12点17并且是星期六执行指令
          43    21      *       *       *                每天的21:43执行指令
          0     17      *       *       1                每周一的17点执行指令
          4     4       1       *       *                每月1号4:4执行指令
          0     21      *       *       1-6              周一到周六每天21:00执行指令
          2     8-20/3  *       *       *                8:02/11:02/14:02/17:02/20:02 执行
          30    5       1,5     *       *                每月1号和5号的5:30执行
          */1   *       *       *       *                每分钟执行
          
    2、crontab -l   查看当前用户所有的任务调度指令
    3、crontab -r   删除当前用户所有任务调度指令
    

    相关文章

      网友评论

          本文标题:day40-MongoDB、crontab

          本文链接:https://www.haomeiwen.com/subject/wchcgftx.html