国产成人精品一区二区三区无码,99热这里只有是精品2,福利姬国产精品一区二区,日韩欧美在线中文字幕网

東莞監(jiān)控安裝闡述云存儲(chǔ)系統(tǒng)難點(diǎn)技術(shù)解析

        云存儲(chǔ)在系統(tǒng)架構(gòu)和設(shè)計(jì)上，充分考慮大規(guī)模集群環(huán)境下軟硬件發(fā)生故障的現(xiàn)實(shí)，采用先進(jìn)的管理思想和軟件系統(tǒng)，實(shí)現(xiàn)對(duì)大量普通存儲(chǔ)服務(wù)器存儲(chǔ)空間資源進(jìn)行虛擬化整合，實(shí)現(xiàn)軟硬件故障高度容錯(cuò)，搭建高度穩(wěn)定可靠的存儲(chǔ)集群。系統(tǒng)整體為應(yīng)用提供統(tǒng)一命名空間，使得系統(tǒng)具備極好的數(shù)據(jù)共享能力。系統(tǒng)將負(fù)載均衡到集群內(nèi)的各節(jié)點(diǎn)上，充分利用集群各節(jié)點(diǎn)性能，以獲得很好的性能聚合能力以及保證了系統(tǒng)的穩(wěn)定。集群采用高度靈活自組網(wǎng)技術(shù)，提供簡易部署和維護(hù)功能，系統(tǒng)在數(shù)據(jù)可靠方面，采用智能冗余重建技術(shù)，保證較高磁盤利用率的前提下，提供最佳冗余策略。另外，系統(tǒng)在節(jié)點(diǎn)軟硬件故障容錯(cuò)方面，也進(jìn)行充分考慮，具備屏蔽所有可屏蔽錯(cuò)誤能力。

         快速文件索引技術(shù)

         云存儲(chǔ)系統(tǒng)可以支持上億級(jí)的文件，同時(shí)還需要支持上千個(gè)用戶同時(shí)訪問。這么大規(guī)模的元數(shù)據(jù)和并發(fā)訪問量，采用傳統(tǒng)的內(nèi)存加盟磁盤多級(jí)存儲(chǔ)，以及多級(jí)索引方式，尋址的開銷將非常大，直接影響到系統(tǒng)的可用性。為了提高系統(tǒng)的響應(yīng)速度，云存儲(chǔ)一般采用粗粒度的管理方式，以64M作為典型的塊大小進(jìn)行索引，大幅減少元數(shù)據(jù)的數(shù)量，即使如此，系統(tǒng)的元數(shù)據(jù)規(guī)模還是會(huì)達(dá)到GB級(jí)別。基于這種情況，系統(tǒng)采用全內(nèi)存態(tài)的元數(shù)據(jù)訪問模式，可以將文件尋址時(shí)間降到毫秒級(jí)別。

        負(fù)載自動(dòng)均衡技術(shù)

        采用中心服務(wù)器模式來管理整個(gè)云存儲(chǔ)文件系統(tǒng)，所有元數(shù)據(jù)均保存在元數(shù)據(jù)服務(wù)器上、文件則被按塊劃分存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)上。元數(shù)據(jù)維護(hù)了統(tǒng)一的命名空間，同時(shí)掌握整個(gè)系統(tǒng)內(nèi)數(shù)據(jù)節(jié)點(diǎn)的使用情況，當(dāng)客戶端向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)讀寫的請(qǐng)求時(shí)，元數(shù)據(jù)服務(wù)器根據(jù)數(shù)據(jù)節(jié)點(diǎn)的磁盤使用情況、網(wǎng)絡(luò)負(fù)擔(dān)等情況，選擇負(fù)擔(dān)最輕的節(jié)點(diǎn)服務(wù)器對(duì)外提供服務(wù)，自動(dòng)調(diào)解集群的負(fù)載狀態(tài)。數(shù)據(jù)節(jié)點(diǎn)內(nèi)同時(shí)有提供磁盤級(jí)的負(fù)載均衡，根據(jù)磁盤的10負(fù)載，空間容量情況，自動(dòng)選擇負(fù)載最輕的磁盤存儲(chǔ)新的數(shù)據(jù)文件。另外對(duì)故障的數(shù)據(jù)節(jié)點(diǎn)上的數(shù)據(jù)快速恢復(fù)，只需將數(shù)據(jù)節(jié)點(diǎn)上的硬盤撥出，插入到其他數(shù)據(jù)節(jié)點(diǎn)，這樣即減少集群對(duì)數(shù)據(jù)恢復(fù)的壓力，又不對(duì)客戶端讀寫產(chǎn)生影響。

         高速并發(fā)訪問技術(shù)

        客戶端在訪問云存儲(chǔ)時(shí)，首先訪問元數(shù)據(jù)服務(wù)器，獲取將要與之進(jìn)行交互的數(shù)據(jù)節(jié)點(diǎn)信息，然后直接訪問這些數(shù)據(jù)節(jié)點(diǎn)完成數(shù)據(jù)存取。客戶端與元數(shù)據(jù)服務(wù)器之間只有控制流，而無數(shù)據(jù)流，這樣就極大地降低了元數(shù)據(jù)服務(wù)器的負(fù)載，使之不成為系統(tǒng)性能的一個(gè)瓶頸?？蛻舳伺c數(shù)據(jù)節(jié)點(diǎn)之間直接傳輸數(shù)據(jù)流，同時(shí)由于文件被分成多個(gè)節(jié)點(diǎn)之間直接傳輸數(shù)據(jù)流，同時(shí)由于文件被分成多個(gè)節(jié)點(diǎn)進(jìn)行分布式存儲(chǔ)，客戶端可以同時(shí)訪問多個(gè)節(jié)點(diǎn)服務(wù)器，從而使得整個(gè)系統(tǒng)的I/O高度并行，系統(tǒng)整體性能得到提高。通常情況下，系統(tǒng)的整個(gè)吞吐率與節(jié)點(diǎn)服務(wù)器的數(shù)據(jù)呈正比。

         高可靠性保證技術(shù)

         對(duì)于元數(shù)據(jù)，通過操作日志來提供容錯(cuò)功能。主要服務(wù)器本地SSD盤組建高可靠RAIDI，提供高可靠容錯(cuò)能力。當(dāng)元數(shù)據(jù)服務(wù)器發(fā)生故障時(shí)，在磁盤數(shù)據(jù)保存完好的情況下，可以迅速恢復(fù)以上元數(shù)據(jù)。且操作日志在主備元數(shù)據(jù)服務(wù)器之間實(shí)時(shí)同步，實(shí)現(xiàn)更高程度的可靠性。對(duì)于節(jié)點(diǎn)服務(wù)器，采用Erasure Code冗余方式實(shí)現(xiàn)容錯(cuò)，數(shù)據(jù)冗余分布存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)上。任一數(shù)據(jù)節(jié)點(diǎn)的損壞，不會(huì)導(dǎo)致任何數(shù)據(jù)丟失，不會(huì)影響任何的數(shù)據(jù)訪問和寫入過程。之后，通過靈活數(shù)據(jù)恢復(fù)機(jī)制，進(jìn)行數(shù)據(jù)重建過程。集群規(guī)模越大，恢復(fù)速度越快。

        以上文章來源由東莞監(jiān)控安裝http://m.jj222222.com創(chuàng)通寶科技整理提供。