一、數據庫對于同一查詢,每次查詢時間會不一樣的原因
1、有內部操作
查詢語句中的內部操作,例如排序、分組、連接等,也會影響查詢的執行時間。
2、數據庫負載
當數據庫處于高負載狀態時,查詢的響應時間可能會增加,因為數據庫需要處理更多的請求。此時,同一查詢的執行時間會因為負載變化而有所不同。
3、緩存效應
數據庫有一個查詢緩存,當緩存中有相同的查詢語句時,數據庫可以直接返回查詢結果,而不需要再次執行查詢。但是,當查詢緩存被清空或命中率低時,同一查詢的執行時間可能不同。
4、使用了索引
查詢語句中使用的索引對查詢的執行時間也有影響。當查詢的字段沒有合適的索引或使用了不合適的索引時,查詢的執行時間可能會增加。
5、數據量不同
查詢的執行時間也會受到數據量的影響。當查詢需要處理大量數據時,執行時間可能會比查詢少量數據的情況下長。
二、數據庫介紹
1、定義
數據庫是存放數據的倉庫。它的存儲空間很大,可以存放百萬條、千萬條、上億條數據。但是數據庫并不是隨意地將數據進行存放,是有一定的規則的,否則查詢的效率會很低。當今世界是一個充滿著數據的互聯網世界,充斥著大量的數據。即這個互聯網世界就是數據世界。數據的來源有很多,比如出行記錄、消費記錄、瀏覽的網頁、發送的消息等等。除了文本類型的數據,圖像、音樂、聲音都是數據。
數據庫是一個按數據結構來存儲和管理數據的計算機軟件系統。數據庫的概念實際包括兩層意思:
數據庫是一個實體,它是能夠合理保管數據的“倉庫”,用戶在該“倉庫”中存放要管理的事務數據,“數據”和“庫”兩個概念結合成為數據庫。數據庫是數據管理的新方法和技術,它能更合適的組織數據、更方便的維護數據、更嚴密的控制數據和更有效的利用數據。數據庫作為最重要的基礎軟件,是確保計算機系統穩定運行的基石。
2、數據庫管理系統
數據庫管理系統是為管理數據庫而設計的電腦軟件系統,一般具有存儲、截取、安全保障、備份等基礎功能。數據庫管理系統可以依據它所支持的數據庫模型來作分類,例如關系式、XML;或依據所支持的計算機類型來作分類,例如服務器群集、移動電話;或依據所用查詢語言來作分類,例如SQL、XQuery;或依據性能沖量重點來作分類,例如最大規模、較高運行速度;亦或其他的分類方式。不論使用哪種分類方式,一些DBMS能夠跨類別,例如,同時支持多種查詢語言。?
數據庫管理系統是數據庫系統的核心組成部分,主要完成對數據庫的操作與管理功能,實現數據庫對象的創建、數據庫存儲數據的查詢、添加、修改與刪除操作和數據庫的用戶管理、權限管理等。它的安全直接關系到整個數據庫系統的安全,其防護手段主要有:
使用正版數據庫管理系統并及時安裝相關補丁。做好用戶賬戶管理,禁用默認超級管理員賬戶或者為超級管理員賬戶設置復雜密碼;為應用程序分別分配專用賬戶進行訪問;設置用戶登錄時間及登錄失敗次數限制, 防止暴力破解用戶密碼。分配用戶訪問權限時,堅持最小權限分配原則,并限制用戶只能訪問特定數據庫,不能同時訪問其他數據庫。修改數據庫默認訪問端口,使用防火墻屏蔽掉對 外開放的其他端口,禁止一切外部的端口探測行為。對數據庫內存儲的重要數據、敏感數據進行加密存儲,防止數據庫備份或數據文件被盜而造成數據泄露。設置好數據庫的備份策略,保證數據庫被破壞后能迅速恢復。對數據庫內的系統存儲過程進行合理管理,禁用掉不必要的存儲過程,防止利用存儲過程進行數據庫探測與攻擊。啟用數據庫審核功能,對數據庫進行全面的事件跟蹤和日志記錄。3、標準SQL語句
雖然關系型數據庫有很多,但是大多數都遵循SQL(結構化查詢語言,Structured Query Language)標準。 常見的操作有查詢,新增,更新,刪除,求和,排序等。
查詢語句:SELECT param FROM table WHERE condition 該語句可以理解為從 table 中查詢出滿足 condition 條件的字段 param。新增語句:INSERT INTO table (param1,param2,param3) VALUES (value1,value2,value3) 該語句可以理解為向table中的param1,param2,param3字段中分別插入value1,value2,value3。更新語句:UPDATE table SET param=new_value WHERE condition 該語句可以理解為將滿足condition條件的字段param更新為 new_value 值。刪除語句:DELETE FROM table WHERE condition 該語句可以理解為將滿足condition條件的數據全部刪除。去重查詢:SELECT DISTINCT param FROM table WHERE condition 該語句可以理解為從表table中查詢出滿足條件condition的字段param,但是param中重復的值只能出現一次。排序查詢:SELECT param FROM table WHERE condition ORDER BY param1該語句可以理解為從表table 中查詢出滿足condition條件的param,并且要按照param1升序的順序進行排序。總體來說, 數據庫的SELECT,INSERT,UPDATE,DELETE對應了我們常用的增刪改查四種操作。關系型數據庫對于結構化數據的處理更合適,如學生成績、地址等,這樣的數據一般情況下需要使用結構化的查詢,例如join,這樣的情況下,關系型數據庫就會比NoSQL數據庫性能更優,而且精確度更高。由于結構化數據的規模不算太大,數據規模的增長通常也是可預期的,所以針對結構化數據使用關系型數據庫更好。關系型數據庫十分注意數據操作的事務性、一致性,如果對這方面的要求關系型數據庫無疑可以很好的滿足。
4、非關系型數據庫(NoSQL)
隨著近些年技術方向的不斷拓展,大量的NoSql數據庫如MongoDB、Redis、Memcache出于簡化數據庫結構、避免冗余、影響性能的表連接、摒棄復雜分布式的目的被設計。
指的是分布式的、非關系型的、不保證遵循ACID原則的數據存儲系統。NoSQL數據庫技術與CAP理論、一致性哈希算法有密切關系。所謂CAP理論,簡單來說就是一個分布式系統不可能滿足可用性、一致性與分區容錯性這三個要求,一次性滿足兩種要求是該系統的上限。而一致性哈希算法則指的是NoSQL數據庫在應用過程中,為滿足工作需求而在通常情況下產生的一種數據算法,該算法能有效解決工作方面的諸多問題但也存在弊端,即工作完成質量會隨著節點的變化而產生波動,當節點過多時,相關工作結果就無法那么準確。這一問題使整個系統的工作效率受到影響,導致整個數據庫系統的數據亂碼與出錯率大大提高,甚至會出現數據節點的內容遷移,產生錯誤的代碼信息。但盡管如此,NoSQL數據庫技術還是具有非常明顯的應用優勢,如數據庫結構相對簡單,在大數據量下的讀寫性能好;能滿足隨時存儲自定義數據格式需求,非常適用于大數據處理工作。
NoSQL數據庫適合追求速度和可擴展性、業務多變的應用場景。對于非結構化數據的處理更合適,如文章、評論,這些數據如全文搜索、機器學習通常只用于模糊處理,并不需要像結構化數據一樣,進行精確查詢,而且這類數據的數據規模往往是海量的,數據規模的增長往往也是不可能預期的,而NoSQL數據庫的擴展能力幾乎也是無限的,所以NoSQL數據庫可以很好的滿足這一類數據的存儲。NoSQL數據庫利用key-value可以大量的獲取大量的非結構化數據,并且數據的獲取效率很高,但用它查詢結構化數據效果就比較差。
目前NoSQL數據庫仍然沒有一個統一的標準,它現在有四種大的分類:
鍵值對存儲(key-value):代表軟件Redis,它的優點能夠進行數據的快速查詢,而缺點是需要存儲數據之間的關系。列存儲:代表軟件Hbase,它的優點是對數據能快速查詢,數據存儲的擴展性強。而缺點是數據庫的功能有局限性。文檔數據庫存儲:代表軟件MongoDB,它的優點是對數據結構要求不特別的嚴格。而缺點是查詢性的性能不好,同時缺少一種統一查詢語言。圖形數據庫存儲:代表軟件InfoGrid,它的優點可以方便的利用圖結構相關算法進行計算。而缺點是要想得到結果必須進行整個圖的計算,而且遇到不適合的數據模型時,圖形數據庫很難使用。延伸閱讀1:關系數據庫
關系型數據庫,存儲的格式可以直觀地反映實體間的關系。關系型數據庫和常見的表格比較相似,關系型數據庫中表與表之間是有很多復雜的關聯關系的。 常見的關系型數據庫有Mysql,SqlServer等。在輕量或者小型的應用中,使用不同的關系型數據庫對系統的性能影響不大,但是在構建大型應用時,則需要根據應用的業務需求和性能需求,選擇合適的關系型數據庫。