mongo学习笔记

edx生产环境使用了mongo数据库。

对mongo数据库垂涎已久，其高性能/开源/无模式/文档型数据库/…多么诱人的特性，之前也偶尔折腾着玩过，不过都没做笔记，趁此机会重新捡起来。

##关于mongo

MongoDB is an open-source document database that provides high performance, high availability, and automatic scaling.

mongo支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能

##mongo是一种NoSql数据库 NoSql，全称是 Not Only Sql,指的是非关系型的数据库。主要解决几个要点：非关系型的、分布式的、开源的、水平可扩展的。原始的目的是为了大规模web应用。通常特性应用如：模式自由、支持简易复制、简单的API、最终的一致性（非ACID）、大容量数据等。NoSQL被我们用得最多的当数key-value存储。

###mongo特性

• 模式自由。
• 支持动态查询。
• 支持完全索引，包含内部对象。
• 支持查询。
• 支持复制和故障恢复。
• 文件存储格式为BSON（一种JSON的扩展）。
• 可通过网络访问。
• 支持Python，PHP，Ruby，Java，C，C#，Javascript，Perl及C++语言的驱动程序
• 使用高效的二进制数据存储，包括大型对象（如视频等）。

##软件即服务 将mongo当做一个服务，通过接口CRUD我们的数据。

对于不同用户角色，对mongo所需的了解方面是不同的，我们的角色是Developers，我们主要将它作为服务来使用。

细节可以参考reference

而作为python开发者，我们使用mongo的python驱动来CRUD数据

##安装 ubuntu下安装mongo比较简单，直接sudo apt-get install mongodb就行。

当然也可以去官网下载安装

端口号是27017

进入mongo shell:mongo

##基础 ###6个简单的概念

• MongoDB有着与您熟知的‘数据库’一样的概念。每一个数据库都是高层次的容器，用来储存其他的所有数据。

• 一个数据库可以有若干‘集合’（collection）。集合和传统概念中的‘表’有着足够多的共同点。

• 集合由若干‘文档’（document）组成,可以认为这里的文档就是‘行’。

• 文档又由若干‘域’（field）组成，域就像是‘列’。

• 索引（index）在MongoDB中的意义就如同索引在RDBMS中一样。

• 游标（cursor）和以上5个概念不同.每当向MongoDB索要数据时，它总是返回一个游标。基于游标我们可以作诸如计数或是直接跳过之类的操作，而不需要真正去读数据。

小结一下，MongoDB由数据库组成，数据库由集合组成，集合由文档组成。域组成了文档，集合可以被索引，从而提高了查找和排序的性能。最后，我们从MongoDB读取数据的时候是通过游标进行的，除非需要，游标不会真正去作读的操作。

关系数据库是在表这一层次定义列的，而一个面向文档的数据库则是在文档这一层次定义域的。也就是说，集合中的每个文档都可以有独立的域。因此，虽说集合相对于表来说是一个简化了的容器，而文档则包含了比行要多得多的信息。

##mongo shell ###入口 help。shell会返回全局可用的操作。比如show dbs

Mongo的shell运行在JavaScript之上.
您可以执行一些全局的指令，如help或者exit.
操作对象db来执行针对当前数据库的操作，例如db.help()或是db.stats()。

• 首先我们用全局命令use来切换数据库。输入use learn。这个数据库是否存在并没有关系，若不存在则新建.z执行完后您就已经在一个数据库里面了
• db.unicorns.insert({name: 'Aurora', gender: 'f', weight: 450})
  以上命令对unicorns对象执行insert操作，并传入一个参数。在MongoDB内部，数据是以二进制的串行JSON格式存储的。
• 如果我们现在执行db.getCollectionNames()，将看到两个集合：unicorns以及system.indexes。system.indexes在每个数据库中都会创建，它包含了数据库中的索引信息。
• 现在您可以对unicorns对象执行find命令， 列出所有文档:db.unicorns.find()
  请注意，除了您在文档中输入的各个域，还有一个一个叫做_id的域。
• 往unicorns插入一个完全不同的文档。db.unicorns.insert({name: 'Leto', gender: 'm', home: 'Arrakeen', worm: false})再次用find可以列出所有的文档

###掌握选择器（selector） MongoDB还有一个很实用的概念：查询选择器（query selector）。
MongoDB的查询选择器就像SQL代码中的where语句。
因此您可以用它在集合中查找，统计，更新或是删除文档。
选择器就是一个JSON对象，最简单的形式就是{}，用来匹配所有的文档。
如果我们需要找到所有雌性的独角兽(unicorn)，我们可以用选择器{gender:‘f’}来匹配。

• 用db.unicorns.remove删除之前我们在unicorns集合中输入的所有数据
• 插入以下数据:

:::text
db.unicorns.insert({name: 'Horny', dob: new Date(1992,2,13,7,47), loves: ['carrot','papaya'], weight: 600, gender: 'm', vampires: 63});
db.unicorns.insert({name: 'Aurora', dob: new Date(1991, 0, 24, 13, 0), loves: ['carrot', 'grape'], weight: 450, gender: 'f', vampires: 43});
db.unicorns.insert({name: 'Unicrom', dob: new Date(1973, 1, 9, 22, 10), loves: ['energon', 'redbull'], weight: 984, gender: 'm', vampires: 182});
db.unicorns.insert({name: 'Roooooodles', dob: new Date(1979, 7, 18, 18, 44), loves: ['apple'], weight: 575, gender: 'm', vampires: 99});
db.unicorns.insert({name: 'Solnara', dob: new Date(1985, 6, 4, 2, 1), loves:['apple', 'carrot', 'chocolate'], weight:550, gender:'f', vampires:80});
db.unicorns.insert({name:'Ayna', dob: new Date(1998, 2, 7, 8, 30), loves: ['strawberry', 'lemon'], weight: 733, gender: 'f', vampires: 40});
db.unicorns.insert({name:'Kenny', dob: new Date(1997, 6, 1, 10, 42), loves: ['grape', 'lemon'], weight: 690,  gender: 'm', vampires: 39});
db.unicorns.insert({name: 'Raleigh', dob: new Date(2005, 4, 3, 0, 57), loves: ['apple', 'sugar'], weight: 421, gender: 'm', vampires: 2});
db.unicorns.insert({name: 'Leia', dob: new Date(2001, 9, 8, 14, 53), loves: ['apple', 'watermelon'], weight: 601, gender: 'f', vampires: 33});
db.unicorns.insert({name: 'Pilot', dob: new Date(1997, 2, 1, 5, 3), loves: ['apple', 'watermelon'], weight: 650, gender: 'm', vampires: 54});
db.unicorns.insert({name: 'Nimue', dob: new Date(1999, 11, 20, 16, 15), loves: ['grape', 'carrot'], weight: 540, gender: 'f'});
db.unicorns.insert({name: 'Dunx', dob: new Date(1976, 6, 18, 18, 18), loves: ['grape', 'watermelon'], weight: 704, gender: 'm', vampires: 165});

{field: value}用来查找所有field等于value的文档。通过{field1: value1, field2: value2}的形式可以实现与操作。$lt、$lte、$gt、$gte以及$ne分别表示小于、小于或等于、大于、大于或等于以及不等于。举个例子，查找所有体重超过700磅的雄性独角兽的命令是：

:::text
db.unicorns.find({gender: 'm', weight: {$gt: 700}})
//或者 (效果并不完全一样，仅用来为了演示不同的方法)
db.unicorns.find({gender: {$ne: 'f'}, weight: {$gte: 701}})

如果需要或而不是与，可以用$or操作符并作用于需要进行或操作的数组：

:::text
db.unicorns.find({gender: 'f', $or: [{loves: 'apple'}, {loves: 'orange'}, {weight: {$lt: 500}}]})

go on …

##pymongo ###参考子资料

代码片段：

#首先pip install pymongo
#连接mongodb
import pymongo
conn = pymongo.Connection('localhost', 27017) # mongo 3.2, pymongo 3.5.1: client = pymongo.MongoClient('localhost', 27017)
#获取数据库列表
conn.database_names()
[u'test1', u'test2', u'admin', u'local']
#连接数据库
db = conn.test1  #或者db = conn['test1'] 偏好后者，类似python dict
#权限验证
db.authenticate('username', 'password')
True
#获取聚集列表 (聚集的概念类似于关系型数据库中的表)
db.collection_names()
[u'account', u'role', u'item', u'online']
#连接聚集
account = db.account #或account = db['account']
#查看聚集的一条记录
account.find_one()
#查看聚集的所有key (类似于关系型数据库中的字段)
account.find_one().keys()
#查看聚集的所有记录
for i in account.find():
    print(i)
#查看记录总数
account.find().count()
#根据条件查询多条记录
for i in account.find({"name": "xxx"}):
    print(i)
#对查询结果进行排序 (默认升序ASCENDING)
account.find().sort("name", pymongo.ASCENDING)
account.find().sort([("name", pymongo.ASCENDING), ("active_time", pymongo.DESCENDING)])

#新增记录
account.insert({"name": "mike", "active_time": "20130408"})

#更新记录
account.update({"name": "mike"}, {"$set": {"active_time": "20130408120000"}})
#删除记录 (不带条件表示全部删除)
account.remove({"name": "mike"})

#数据备份

##参开资料