python数据库操作nosql_用Python写一个NoSQL数据库
Set Up
下面是我們服務器所需的一些樣板代碼：
"""NoSQL database written in Python"""
# Standard library imports
import socket
HOST = 'localhost'
PORT = 50505
SOCKET = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
STATS = {
'PUT': {'success': 0, 'error': 0},
'GET': {'success': 0, 'error': 0},
'GETLIST': {'success': 0, 'error': 0},
'PUTLIST': {'success': 0, 'error': 0},
'INCREMENT': {'success': 0, 'error': 0},
'APPEND': {'success': 0, 'error': 0},
'DELETE': {'success': 0, 'error': 0},
'STATS': {'success': 0, 'error': 0},
}
很容易看到， 上面的只是一個包的導入和一些數據的初始化。
Set up(Cont'd)
接下來我會跳過一些代碼， 以便能夠繼續展示上面準備部分剩余的代碼。 注意它涉及到了一些尚不存在的一些函數， 不過沒關系， 我們會在后面涉及。 在完整版(將會呈現在最后)中， 所有內容都會被有序編排。 這里是剩余的安裝代碼：
COMMAND_HANDERS = {
'PUT': handle_put,
'GET': handle_get,
'GETLIST': handle_getlist,
'PUTLIST': handle_putlist,
'INCREMENT': handle_increment,
'APPEND': handle_append,
'DELETE': handle_delete,
'STATS': handle_stats,
}
DATA = {}
def main():
"""Main entry point for script"""
SOCKET.bind(HOST, PORT)
SOCKET.listen(1)
while 1:
connection, address = SOCKET.accept()
print('New connection from [{}]'.format(address))
data = connection.recv(4096).decode()
command, key, value = parse_message(data)
if command == 'STATS':
response = handle_stats()
elif command in ('GET', 'GETLIST', 'INCREMENT', 'DELETE'):
response = COMMAND_HANDERS[command](key)
elif command in (
'PUT',
'PUTLIST',
'APPEND', ):
response = COMMAND_HANDERS[command](key, value)
else:
response = (False, 'Unknown command type {}'.format(command))
update_stats(command, response[0])
connection.sandall('{};{}'.format(response[0], response[1]))
connection.close()
if __name__ == '__main__':
main()
我們創建了 COMMAND_HANDLERS, 它常被稱為是一個 查找表 (look-up table) . COMMAND_HANDLERS 的工作是將命令與用于處理該命令的函數進行關聯起來。 比如說， 如果我們收到一個 GET 命令， COMMAND_HANDLERS[command](key) 就等同于說 handle_get(key) . 記住，在 Python 中, 函數可以被認為是一個值，并且可以像其他任何值一樣被存儲在一個 dict 中。
在上面的代碼中， 雖然有些命令請求的參數相同，但是我仍決定分開處理每個命令。 盡管可以簡單粗暴地強制所有的 handle_ 函數接受一個 key 和一個 value , 但是我希望這些處理函數條理能夠更加有條理， 更加容易測試，同時減少出現錯誤的可能性。
注意 socket 相關的代碼已是十分極簡。 雖然整個服務器基于 TCP/IP 通信， 但是并沒有太多底層的網絡交互代碼。
最后還須需要注意的一小點: DATA 字典， 因為這個點并不十分重要， 因而你很可能會遺漏它。 DATA 就是實際用來存儲的 key-value pair, 正是它們實際構成了我們的數據庫。
Command Parser
下面來看一些 命令解析器 (command parser) , 它負責解釋接收到的消息：
def parse_message(data):
"""Return a tuple containing the command, the key, and (optionally) the
value cast to the appropriate type."""
command, key, value, value_type = data.strip().split(';')
if value_type:
if value_type == 'LIST':
value = value.split(',')
elif value_type == 'INT':
value = int(value)
else:
value = str(value)
else:
value = None
return command, key, value
這里我們可以看到發生了類型轉換 (type conversion). 如果希望值是一個 list, 我們可以通過對 string 調用 str.split(',') 來得到我們想要的值。 對于 int, 我們可以簡單地使用參數為 string 的 int() 即可。 對于字符串與 str() 也是同樣的道理。
Command Handlers
下面是命令處理器 (command handler) 的代碼. 它們都十分直觀，易于理解。 注意到雖然有很多的錯誤檢查， 但是也并不是面面俱到, 十分龐雜。 在你閱讀的過程中，如果發現有任何錯誤請移步 這里 進行討論.
def update_stats(command, success):
"""Update the STATS dict with info about if executing *command* was a
*success*"""
if success:
STATS[command]['success'] += 1
else:
STATS[command]['error'] += 1
def handle_put(key, value):
"""Return a tuple containing True and the message to send back to the
client."""
DATA[key] = value
return (True, 'key [{}] set to [{}]'.format(key, value))
def handle_get(key):
"""Return a tuple containing True if the key exists and the message to send
back to the client"""
if key not in DATA:
return (False, 'Error: Key [{}] not found'.format(key))
else:
return (True, DATA[key])
def handle_putlist(key, value):
"""Return a tuple containing True if the command succeeded and the message
to send back to the client."""
return handle_put(key, value)
def handle_putlist(key, value):
"""Return a tuple containing True if the command succeeded and the message
to send back to the client"""
return handle_put(key, value)
def handle_getlist(key):
"""Return a tuple containing True if the key contained a list and the
message to send back to the client."""
return_value = exists, value = handle_get(key)
if not exists:
return return_value
elif not isinstance(value, list):
return (False, 'ERROR: Key [{}] contains non-list value ([{}])'.format(
key, value))
else:
return return_value
def handle_increment(key):
"""Return a tuple containing True if the key's value could be incremented
and the message to send back to the client."""
return_value = exists, value = handle_get(key)
if not exists:
return return_value
elif not isinstance(list_value, list):
return (False, 'ERROR: Key [{}] contains non-list value ([{}])'.format(
key, value))
else:
DATA[key].append(value)
return (True, 'Key [{}] had value [{}] appended'.format(key, value))
def handle_delete(key):
"""Return a tuple containing True if the key could be deleted and the
message to send back to the client."""
if key not in DATA:
return (
False,
'ERROR: Key [{}] not found and could not be deleted.'.format(key))
else:
del DATA[key]
def handle_stats():
"""Return a tuple containing True and the contents of the STATS dict."""
return (True, str(STATS))
有兩點需要注意： 多重賦值 (multiple assignment) 和代碼重用. 有些函數僅僅是為了更加有邏輯性而對已有函數的簡單包裝而已， 比如 handle_get 和 handle_getlist . 由于我們有時僅僅是需要一個已有函數的返回值，而其他時候卻需要檢查該函數到底返回了什么內容， 這時候就會使用 多重賦值 。
來看一下 handle_append . 如果我們嘗試調用 handle_get 但是 key 并不存在時， 那么我們簡單地返回 handle_get 所返回的內容。 此外， 我們還希望能夠將 handle_get 返回的 tuple 作為一個單獨的返回值進行引用。 那么當 key 不存在的時候， 我們就可以簡單地使用 return return_value .
如果它 確實存在 ， 那么我們需要檢查該返回值。并且， 我們也希望能夠將 handle_get 的返回值作為單獨的變量進行引用。 為了能夠處理上述兩種情況，同時考慮需要分開處理結果的情形，我們使用了多重賦值。 如此一來， 就不必書寫多行代碼， 同時能夠保持代碼清晰。 return_value = exists, list_value = handle_get(key) 能夠顯式地表明我們將要以至少兩種不同的方式引用 handle_get 的返回值。
How Is This a Database?
上面的程序顯然并非一個 RDBMS, 但卻絕對稱得上是一個 NoSQL 數據庫。它如此易于創建的原因是我們并沒有任何與 數據 (data) 的實際交互。 我們只是做了極簡的類型檢查，存儲用戶所發送的任何內容。 如果需要存儲更加結構化的數據， 我們可能需要針對數據庫創建一個 schema 用于存儲和檢索數據。
既然 NoSQL 數據庫更容易寫， 更容易維護，更容易實現， 那么我們為什么不是只使用 mongoDB 就好了? 當然是有原因的， 還是那句話，有得必有失， 我們需要在 NoSQL 數據庫所提供的數據靈活性 (data flexibility) 基礎上權衡數據庫的可搜索性 (searchability).
Querying Data
假如我們上面的 NoSQL 數據庫來存儲早前的 Car 數據。 那么我們可能會使用 VIN 作為 key, 使用一個列表作為每列的值， 也就是說, 2134AFGER245267 = ['Lexus', 'RX350', 2013, Black] . 當然了， 我們已經丟掉了列表中每個索引的 涵義 (meaning) . 我們只需要知道在某個地方索引 1 存儲了汽車的 Model , 索引 2 存儲了 Year.
糟糕的事情來了， 當我們想要執行先前的查詢語句時會發生什么? 找到 1994 年所有車的顏色將會變得噩夢一般。 我們必須遍歷 DATA 中的 每一個值 來確認這個值是否存儲了 car 數據亦或根本是其他不相關的數據， 比如說檢查索引 2, 看索引 2 的值是否等于 1994，接著再繼續取索引 3 的值. 這比 table scan 還要糟糕，因為它不僅要掃描每一行數據，還需要應用一些復雜的規則來回答查詢。
NoSQL 數據庫的作者當然也意識到了這些問題，(鑒于查詢是一個非常有用的 feature) 他們也想出了一些方法來使得查詢變得不那么 “遙不可及”。一個方法是結構化所使用的數據，比如 JSON, 允許引用其他行來表示關系。 同時， 大部分 NoSQL 數據庫都有名字空間 (namespace) 的概念， 單一類型的數據可以被存儲在數據庫中該類型所獨有的 "section" 中，這使得查詢引擎能夠利用所要查詢數據的 "shape" 信息。
當然了，盡管為了增強可查詢性已經存在 (并且實現了)了一些更加復雜的方法， 但是在存儲更少量的 schema 與增強可查詢性之間做出妥協始終是一個不可逃避的問題。 本例中我們的數據庫僅支持通過 key 進行查詢。 如果我們需要支持更加豐富的查詢， 那么事情就會變得復雜的多了。
Summary
至此, 希望 "NoSQL" 這個概念已然十分清晰。 我們學習了一點 SQL, 并且了解了 RDBMS 是如何工作的。 我們看到了如何從一個 RDBMS 中檢索數據 (使用 SQL 查詢 (query)). 通過搭建了一個玩具級別的 NoSQL 數據庫, 了解了在可查詢性與簡潔性之間面臨的一些問題， 還討論了一些數據庫作者應對這些問題時所采用的一些方法。
即便是簡單的 key-value 存儲， 關于數據庫的知識也是浩瀚無窮。雖然我們僅僅是探討了其中的星星點點, 但是仍然希望你已經了解了 NoSQL 到底指的是什么， 它是如何工作的， 什么時候用比較好。
22/2<12
總結
以上是生活随笔為你收集整理的python数据库操作nosql_用Python写一个NoSQL数据库的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 惠普台式机 bios怎么进 惠普台式电脑
- 下一篇： 怎么提升u盘的读写速度 U盘读写速度如何