欧美国产日韩精品-欧美国产日韩久久久-欧美国产日韩一区二区三区-欧美国产日韩在线-台湾毛片-台湾美女古装一级毛片

基于大數(shù)據(jù)平臺的圖像數(shù)據(jù)庫架構(gòu)的設(shè)計與實現(xiàn)

來源:期刊VIP網(wǎng)所屬分類:綜合論文時間:瀏覽:

  摘 要:圖像識別及其圖像修復(fù)技術(shù)在目前的數(shù)字化領(lǐng)域應(yīng)用非常廣泛,在金融、安防領(lǐng)域尤為突出。因此,從經(jīng)濟和實用性角度出發(fā)基于大數(shù)據(jù)的圖像修復(fù)技術(shù)有著廣闊的應(yīng)用前景。但大數(shù)據(jù)環(huán)境下復(fù)雜的數(shù)據(jù)存儲是數(shù)據(jù)圖像修復(fù)的關(guān)鍵,如何建立一個高效、安全、高容量的基于大數(shù)據(jù)平臺的數(shù)據(jù)庫,是數(shù)據(jù)庫建立需要考慮的關(guān)鍵問題。下文從數(shù)據(jù)庫架構(gòu)的構(gòu)成、應(yīng)用目的、數(shù)據(jù)量大小、訪問量、安全要求等各個角度研究和討論圖像數(shù)據(jù)庫的建立,力求使數(shù)據(jù)庫建立在安全、合理、流暢的數(shù)據(jù)庫架構(gòu)之上,達到最優(yōu)的數(shù)據(jù)庫架構(gòu)模型。

  關(guān)鍵詞:圖像識別;圖像處理;大數(shù)據(jù);架構(gòu)

圖書職稱論文

  1 引言(Introduction)

  數(shù)據(jù)庫作為數(shù)字信息的載體在數(shù)字生活中起著極其重要的作用,無論是動態(tài)網(wǎng)站設(shè)計、數(shù)據(jù)挖掘、大數(shù)據(jù)存儲等各個領(lǐng)域都很重要。數(shù)字圖像作為數(shù)字信息的表現(xiàn)形式有著其他數(shù)字信息不可比擬的特點,存數(shù)量大、格式復(fù)雜、程序處理困難等都是其固有的屬性。因此,基于大數(shù)據(jù)平臺的圖像數(shù)據(jù)庫架構(gòu)的建設(shè)在整個平臺建設(shè)中顯得非常重要。

  2 圖像數(shù)據(jù)的分類及特點(Classification and characteristics of image data)

  隨著數(shù)碼相機、掃描儀、視屏攝錄設(shè)備的廣泛應(yīng)用,越來越多的數(shù)字圖像數(shù)據(jù)大量產(chǎn)生,這些數(shù)據(jù)圖像因格和采集設(shè)備等的不同有著很大的差別,不同的格式及設(shè)備采集的圖像特點也不相同。

  2.1 位圖數(shù)據(jù)

  位圖數(shù)據(jù)由若干點陣構(gòu)成,每個點稱為一個像素。文件大小與像素密集度有關(guān)。當(dāng)文件太大時處理速就會變慢,但點陣所表達的圖像色彩豐富、逼真,品質(zhì)較高。

  2.2 JPEG圖像數(shù)據(jù)

  JPEG是由國際標(biāo)準(zhǔn)組織(ISO)和國際電話電報咨詢委員會(CCITT)為靜態(tài)圖像所創(chuàng)建的第一個國際數(shù)字圖像壓縮標(biāo)準(zhǔn),其不僅可以提供有損壓縮也可以提供無損壓縮。比傳統(tǒng)的圖像壓縮方式有不可比擬的優(yōu)越性。其特點如下:一次將圖像由左到右、由上到下順序處理;當(dāng)圖像傳輸?shù)臅r間較長時,可將圖像分?jǐn)?shù)次處理,以從模糊到清晰的方式來傳送圖像[1];其壓縮出來的圖像可以在較低分辨率的設(shè)備上顯示出高分辨率的效果。

  2.3 TIFF標(biāo)記圖像文件格式

  TIFF支持可選壓縮、可擴展格式許多可選功能,TIFF是廣泛支持的格式,尤其是在Macintosh計算機和基于Windows的計算機之間[2]。以任何顏色深度存儲單個光柵圖像,其缺點是TIFF在Web瀏覽器得不到支持,而且TIFF之間的文件兼容性也存在問題。

  2.4 PNG格式

  PNG(Portable Network Graphics)是近幾年來網(wǎng)絡(luò)上比較流行的圖像格式。其優(yōu)點是目前保證最不失真的格式,存貯形式豐富,兼有GIF和JPG的色彩模式的特點;其缺點是不支持動畫應(yīng)用效果。

  3 大數(shù)據(jù)數(shù)據(jù)庫設(shè)計與優(yōu)化(Design and optimization of big data database)

  3.1 數(shù)據(jù)庫架構(gòu)的設(shè)計

  數(shù)據(jù)庫架構(gòu)是數(shù)據(jù)資源布置方式的統(tǒng)稱,一個合理的架構(gòu)可以提高數(shù)據(jù)的安全性和數(shù)據(jù)訪問的速度。目前提供大數(shù)據(jù)訪問的平臺提供商,廣泛采用B/S結(jié)構(gòu)的數(shù)據(jù)庫前端平臺搭建模式(圖1)。B/S結(jié)構(gòu)具有使用方便、成本低、適應(yīng)強等特點,但這種基于動態(tài)網(wǎng)站建設(shè)技術(shù)的數(shù)據(jù)平臺前端建立模式最大的缺點就是安全性不能得到很好的保障[3]。因此,在大數(shù)據(jù)平臺下數(shù)據(jù)庫的架構(gòu)設(shè)計必須采用相關(guān)的措施提高數(shù)據(jù)庫的安全性。

  為了提高數(shù)據(jù)庫平臺的安全性,在數(shù)據(jù)庫核心層的外圍需采用多層控制機制,通常從平臺的使用、管理、控制、維護等方面數(shù)據(jù)庫架構(gòu)可由:產(chǎn)品層、接入層、網(wǎng)絡(luò)層、中間件、存儲層、運維服務(wù)等幾個層級(圖2)。

  各層的具體作用如下:

  產(chǎn)品層:該層是數(shù)據(jù)庫架構(gòu)的硬件平臺,平臺設(shè)備由服務(wù)商提供。主要負(fù)責(zé)整個架構(gòu)軟硬件設(shè)備的管理和使用。對于性能的要求與平臺硬件的構(gòu)成有關(guān),基本要求是平臺必須具備對整體架構(gòu)安全性、實用性、操控性的管理[4,5]。

  接入層:接入層負(fù)責(zé)對外提供數(shù)據(jù)服務(wù),對于大數(shù)據(jù)平臺,如果要提高服務(wù)品質(zhì),良好的接入層設(shè)計可以使數(shù)據(jù)得到高效的應(yīng)用。大數(shù)據(jù)平臺要面向眾多的使用對象,接入層是每個使用對象必須經(jīng)過的訪問節(jié)點。接入層要提供有線、無線、云上數(shù)據(jù)等各種接入服務(wù)。如果從數(shù)據(jù)的安全性考慮,對眾多的接入請求,接口要建立足夠的安全保障機制。但如果復(fù)雜的安全保障機制建立在接口層,會使接入速度降低、服務(wù)品質(zhì)下降[6]。從大數(shù)據(jù)的使用初衷考慮在服務(wù)品質(zhì)和安全性這兩方面權(quán)衡,在接口層一般對安全性不做硬性要求,從而保證提供較高的服務(wù)品質(zhì)。

  中間件:大數(shù)據(jù)的特點就是數(shù)據(jù)量大而復(fù)雜,如何使用戶快速、便捷地從海量數(shù)據(jù)獲取所需信息,是架構(gòu)設(shè)計必須考慮的。目前,多采用多語言支持、SQL二級索引等中間件來提高訪問效率。另外,在中間件的下層多采用HBase面向列的開源數(shù)據(jù)庫提供數(shù)據(jù)庫技術(shù)支持。

  存儲層:該層作為數(shù)據(jù)的存儲空間的管理層是整個數(shù)據(jù)庫架構(gòu)的核心,目前采用Ali-HDFS、共享存儲OSS等管理數(shù)據(jù)資源,為數(shù)據(jù)保存提供高效組織方式[7]。

  運維服務(wù):大數(shù)據(jù)架構(gòu)的使用對象眾多,使用方式和使用習(xí)慣差異很大,平臺架構(gòu)運行后會有很多問題需要進一步服務(wù)。只有在不斷的維護和改進中平臺的功能才能更加完善[8]。現(xiàn)在平臺維護主要涉及全鏈路監(jiān)控、自動運維、資源調(diào)度、運維部署、物理機等幾個方面。

  3.2 安全數(shù)據(jù)庫的建立

  為了提高大數(shù)據(jù)平臺的服務(wù)品質(zhì),在接口層對于安全性沒有采用過多的設(shè)計。但數(shù)據(jù)的安全還是大數(shù)據(jù)系統(tǒng)必須考慮的問題。因此,除了在產(chǎn)品層對于安全性的總體硬件部署之外,在數(shù)據(jù)庫的結(jié)構(gòu)設(shè)計上安全性的本質(zhì)要求必須充分體現(xiàn)(圖3)。

  數(shù)據(jù)庫是大數(shù)據(jù)系統(tǒng)的核心,因此安全層次的部署也相當(dāng)復(fù)雜。如圖3所示,可以采用專用安全數(shù)據(jù)庫系統(tǒng)對核心數(shù)據(jù)庫進行保護,數(shù)據(jù)庫安全管理層結(jié)構(gòu)主要構(gòu)成及功能如下:

  統(tǒng)一安全管理:主要功能負(fù)責(zé)整個數(shù)據(jù)庫安全管理層的高層管理,具體有配置管理、安全審計、操作日志管理、用戶管理、權(quán)限管理、日志分析等功能。

  監(jiān)控管理子系統(tǒng):包括警告管理、性能管理、配置管理,在警告管理模塊主要實現(xiàn)警告過濾、警告分析、預(yù)處理、格式化等功能;性能管理模塊主要包括數(shù)據(jù)稽查、閾值對比、數(shù)據(jù)匯總、預(yù)處理等功能;配置管理主要包括數(shù)據(jù)整合、異常處理、數(shù)據(jù)審核等功能[9]。

  安全數(shù)據(jù)庫:核心數(shù)據(jù)庫是大數(shù)據(jù)平臺提供服務(wù)的信息載體,有著極其嚴(yán)格的配置管理控制。在安全控制及信息過濾的過程中也會需要大量的數(shù)據(jù)需要建立數(shù)據(jù)庫進行存儲,但從數(shù)據(jù)結(jié)構(gòu)及安全配置管理的角度去考慮,這些存儲的數(shù)據(jù)不需要供給大數(shù)據(jù)客戶使用,因此需建立專用的安全數(shù)據(jù)庫進行存儲。這類數(shù)據(jù)庫主要有警告數(shù)據(jù)庫、性能數(shù)據(jù)庫、配置數(shù)據(jù)庫等。

  3.3 核心數(shù)據(jù)庫的構(gòu)成

  當(dāng)數(shù)據(jù)庫的安全控制功能分離出去后,核心數(shù)據(jù)庫的設(shè)計主要涉及大數(shù)據(jù)采集、大數(shù)據(jù)清理、大數(shù)據(jù)標(biāo)準(zhǔn)化、大數(shù)據(jù)結(jié)構(gòu)化幾個方面[4](圖4)。

  大數(shù)據(jù)采集:包含業(yè)務(wù)數(shù)據(jù)匯集系統(tǒng)、用戶行為數(shù)據(jù)采集系統(tǒng)、大數(shù)據(jù)爬蟲采集系統(tǒng)。

  大數(shù)據(jù)清洗:包含業(yè)務(wù)數(shù)據(jù)清洗系統(tǒng)、用戶行為數(shù)據(jù)清洗系統(tǒng)、互聯(lián)網(wǎng)公開數(shù)據(jù)清洗系統(tǒng)。

  大數(shù)據(jù)標(biāo)準(zhǔn)化:包含用戶多ID匹配系統(tǒng)、商品多ID匹配系統(tǒng)。

  大數(shù)據(jù)結(jié)構(gòu)化:包含用戶標(biāo)簽管理系統(tǒng)、商品標(biāo)簽管理系統(tǒng)。

  圖形圖像處理是目前需求比較大的業(yè)務(wù),在安防、醫(yī)學(xué)、考古領(lǐng)域都有涉及。尤其是圖像修復(fù)更有著廣大的應(yīng)用市場,人臉識別、考古修復(fù)等都在應(yīng)用。因此基于大數(shù)據(jù)的圖像修復(fù)系統(tǒng)中,圖像數(shù)據(jù)庫的建立尤為重要。圖像數(shù)據(jù)具有文件大、種類多、存儲結(jié)構(gòu)復(fù)雜等特點。在建立圖像數(shù)據(jù)庫時所得到的數(shù)據(jù)同樣存在著不可預(yù)知的數(shù)據(jù)[10]。為了更精確的定位有用的存儲信息,核心數(shù)據(jù)庫建立時必須按照大數(shù)據(jù)采集—大數(shù)據(jù)清洗—大數(shù)據(jù)標(biāo)準(zhǔn)化—大數(shù)據(jù)結(jié)構(gòu)化的步驟對數(shù)據(jù)進行優(yōu)化,以便客戶在使用時獲得更為精確的圖像數(shù)據(jù)。

  4 結(jié)論(Conclusion)

  基于大數(shù)據(jù)的圖形圖像處理是大數(shù)據(jù)的主要應(yīng)用方向,良好的數(shù)據(jù)庫架構(gòu)可以提高處理的速度,減少誤差,最大限度地提高工作效率。按文中所述,構(gòu)建合理安全的大數(shù)據(jù)數(shù)據(jù)庫架構(gòu)是大數(shù)據(jù)平臺建設(shè)必須遵循的規(guī)律,也是大數(shù)據(jù)應(yīng)用發(fā)展的必經(jīng)之路。

  參考文獻(References)

  [1] Trevor H.Booth.Species distribution modelling tools and databases to assist managing forests under climate change[J].Forest Ecology and Management,2018(04):196-202.

  [2] Nagori N P,MalodeV.Communication Interface for Deaf-Mute People using Microsoft Kinect[J].International Conference on Automatic Control and Dynamic Optimization Techniques,2017(03):1-5.

  [3] Gu B B,Li Z X,Zhang X L,et al.The interaction between schema matching and record matching in data integration[J].IEEE Transactions on Knowledge and Data Engineering,2016(05):187-192.

  [4] 傅穎勛,羅圣美,舒繼武.安全云存儲系統(tǒng)與關(guān)鍵技術(shù)綜述[J].計算機研究與發(fā)展,2013(01):136-145.

  推薦閱讀:哪里有整理好的期刊數(shù)據(jù)庫資源

色综合久久天天综线观看| 日韩欧美一二三区| 欧美爱色| a级毛片免费观看网站| 国产成a人片在线观看视频| 99久久精品国产免费| 国产一区二区福利久久| 国产91丝袜在线播放0| 99久久网站| 四虎影视久久| 好男人天堂网 久久精品国产这里是免费 国产精品成人一区二区 男人天堂网2021 男人的天堂在线观看 丁香六月综合激情 | 欧美夜夜骑 青草视频在线观看完整版 久久精品99无色码中文字幕 欧美日韩一区二区在线观看视频 欧美中文字幕在线视频 www.99精品 香蕉视频久久 | 国产91精品系列在线观看| 亚洲精品中文字幕久久久久久| 国产网站在线| 欧美另类videosbestsex高清| 久久精品免视看国产明星| 亚洲女人国产香蕉久久精品| 麻豆午夜视频| 九九九国产| 成人a级高清视频在线观看| 国产高清在线精品一区a| 久久99中文字幕久久| 国产精品自拍在线| 亚洲女初尝黑人巨高清在线观看| 久久久成人影院| 日韩一级黄色片| 欧美夜夜骑 青草视频在线观看完整版 久久精品99无色码中文字幕 欧美日韩一区二区在线观看视频 欧美中文字幕在线视频 www.99精品 香蕉视频久久 | 黄视频网站免费看| 国产不卡精品一区二区三区| 欧美一区二区三区在线观看| 日本特黄一级| 欧美另类videosbestsex久久 | 黄色免费三级| 欧美另类videosbestsex久久| 成人免费网站视频ww| 国产成+人+综合+亚洲不卡| 色综合久久天天综合观看| 中文字幕97| 国产91精品一区| 亚洲第一页乱| 日韩专区亚洲综合久久| 高清一级毛片一本到免费观看| 日韩免费在线| 成人在激情在线视频| 国产成人精品影视| 国产视频久久久| 韩国三级香港三级日本三级la | 久久久成人影院| 99色视频在线观看| 天天做日日干| 久久99欧美| 尤物视频网站在线观看| 高清一级淫片a级中文字幕| 国产视频一区二区在线播放| 免费一级片在线观看| 香蕉视频亚洲一级| 成人av在线播放| 韩国毛片免费| 欧美夜夜骑 青草视频在线观看完整版 久久精品99无色码中文字幕 欧美日韩一区二区在线观看视频 欧美中文字幕在线视频 www.99精品 香蕉视频久久 | 四虎影视库| 亚洲精品久久玖玖玖玖| 国产高清在线精品一区二区| 日韩中文字幕一区| 日本特黄一级| 99色视频在线| 亚欧乱色一区二区三区| 久久国产精品只做精品| 久久精品大片| 欧美一级视频高清片| 免费一级片在线| 国产麻豆精品免费视频| 亚洲精品中文字幕久久久久久| 黄色免费三级| 国产视频一区二区在线观看| 日韩在线观看免费| 九九久久国产精品| 午夜家庭影院| 欧美18性精品| 精品视频在线观看免费| 欧美一区二区三区在线观看| 国产伦精品一区二区三区在线观看 | 国产欧美精品| 亚洲不卡一区二区三区在线| 欧美a级v片不卡在线观看| 人人干人人插| 国产网站免费| 99久久精品国产高清一区二区| 国产高清在线精品一区二区| 欧美夜夜骑 青草视频在线观看完整版 久久精品99无色码中文字幕 欧美日韩一区二区在线观看视频 欧美中文字幕在线视频 www.99精品 香蕉视频久久 | 九九久久99综合一区二区| 久久久久久久免费视频| 免费的黄色小视频| 久久久久久久久综合影视网| 久久99中文字幕| 国产伦理精品| 九九干| 欧美一区二区三区性| 日本久久久久久久 97久久精品一区二区三区 狠狠色噜噜狠狠狠狠97 日日干综合 五月天婷婷在线观看高清 九色福利视频 | 91麻豆高清国产在线播放| 久久久久久久网| 国产一区二区高清视频| 成人a级高清视频在线观看| 久久精品免视看国产明星| 好男人天堂网 久久精品国产这里是免费 国产精品成人一区二区 男人天堂网2021 男人的天堂在线观看 丁香六月综合激情 | 一级女性大黄生活片免费| 日本伦理网站| 国产一区二区福利久久| 韩国毛片免费| 国产不卡福利| 成人免费高清视频| 亚洲wwwwww| 午夜欧美成人香蕉剧场| 亚洲天堂免费| 国产网站在线| 99久久精品国产高清一区二区| 国产91丝袜高跟系列| 精品视频在线观看一区二区| 999久久狠狠免费精品| 九九干| 亚洲 男人 天堂| 国产伦久视频免费观看 视频| 亚洲www美色| 日本在线不卡视频| 亚洲不卡一区二区三区在线| 九九干| 一a一级片| 欧美一区二区三区在线观看| 色综合久久天天综合| 一本高清在线| 一a一级片| 日本免费看视频| 亚洲精品永久一区| 精品久久久久久综合网| 久久久成人网| 九九精品久久久久久久久| 天天做日日爱| 欧美a级大片| 日韩在线观看视频黄| 国产伦精品一区二区三区在线观看 | 日韩中文字幕一区| 国产一区二区精品久久91| 免费国产在线视频| 国产国语在线播放视频| 久久福利影视| 欧美大片aaaa一级毛片| 精品久久久久久中文字幕一区| 国产成人精品综合久久久| 精品久久久久久中文| 午夜在线亚洲| 精品久久久久久中文| 国产原创中文字幕| 国产一区精品| 日本在线不卡视频| 午夜精品国产自在现线拍| 精品视频在线看| 日韩中文字幕一区| 成人免费网站久久久| 日日日夜夜操| 韩国三级视频网站| 成人在激情在线视频| 青青久热| 日本特黄特黄aaaaa大片| 一本高清在线| 免费一级片在线| 四虎影视库| 九九精品久久久久久久久| 成人在免费观看视频国产| 久久精品店| 二级片在线观看| 午夜激情视频在线观看| 国产麻豆精品免费视频| 99久久网站| 国产成人啪精品| 国产视频一区在线| 999久久66久6只有精品| 香蕉视频亚洲一级| 午夜欧美成人久久久久久| 国产精品1024永久免费视频| 成人a级高清视频在线观看| 精品久久久久久中文字幕2017| 日本久久久久久久 97久久精品一区二区三区 狠狠色噜噜狠狠狠狠97 日日干综合 五月天婷婷在线观看高清 九色福利视频 | 精品视频在线观看一区二区| 精品在线免费播放| 日本久久久久久久 97久久精品一区二区三区 狠狠色噜噜狠狠狠狠97 日日干综合 五月天婷婷在线观看高清 九色福利视频 | 91麻豆精品国产自产在线| 成人免费观看男女羞羞视频| 午夜激情视频在线播放| 国产网站在线| 国产伦精品一区二区三区无广告 | 欧美激情一区二区三区视频| 黄色免费三级| 欧美激情伊人| 亚洲 激情| 欧美日本国产| 日韩欧美一二三区| 国产一区二区精品久久91| 亚洲精品中文字幕久久久久久| 国产不卡福利| 国产亚洲免费观看|