大數(shù)據(jù)時(shí)代,隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算、云技術(shù)、智能終端等信息技術(shù)的迅猛發(fā)展,在影響著人們生活的同時(shí),也無(wú)時(shí)不改變著制造業(yè)企業(yè)的運(yùn)作模式。幾乎所有行業(yè)所擁有的數(shù)據(jù)都在增長(zhǎng),這也成為大家共同面臨的挑戰(zhàn)和機(jī)遇,制造業(yè)自然也不例外。
制造業(yè)整個(gè)價(jià)值鏈、制造業(yè)產(chǎn)品的整個(gè)生命周期,都涉及到非常多的數(shù)據(jù),比如產(chǎn)品數(shù)據(jù)、運(yùn)營(yíng)數(shù)據(jù)、價(jià)值鏈數(shù)據(jù)、外部數(shù)據(jù)等等,種類繁多,這些數(shù)據(jù)將會(huì)為企業(yè)帶來(lái)非常多的價(jià)值。
一、大數(shù)據(jù)平臺(tái)在智能制造中的作用
1. 實(shí)現(xiàn)由業(yè)務(wù)流程驅(qū)動(dòng)轉(zhuǎn)變?yōu)閿?shù)據(jù)驅(qū)動(dòng)
企業(yè)的信息化建設(shè)實(shí)現(xiàn)了業(yè)務(wù)流程數(shù)字化,也成功使企業(yè)的組織管理形式從初級(jí)階段的依靠KPI考核的職能型組織,轉(zhuǎn)變?yōu)橹屑?jí)階段的流程驅(qū)動(dòng)的流程型組織,現(xiàn)在迫切需要轉(zhuǎn)變?yōu)楦呒?jí)階段的數(shù)據(jù)驅(qū)動(dòng)型組織。
2. 從數(shù)據(jù)資產(chǎn)中重新挖掘價(jià)值
企業(yè)多年的信息化建設(shè)積累了大量的數(shù)據(jù),數(shù)據(jù)被視為資產(chǎn)越來(lái)越受到重視,從海量數(shù)據(jù)中發(fā)現(xiàn)與挖掘價(jià)值已成為共識(shí)。
3. 實(shí)現(xiàn)知過(guò)往,知現(xiàn)在,知未來(lái)
通過(guò)海量歷史數(shù)據(jù)的推移展示,實(shí)現(xiàn)【知過(guò)往】。
通過(guò)各個(gè)維度KPI的標(biāo)準(zhǔn)和達(dá)成情況,實(shí)現(xiàn)【知現(xiàn)在】。
通過(guò)數(shù)據(jù)分析,趨勢(shì)預(yù)測(cè),實(shí)現(xiàn)【知未來(lái)】。
二、 大數(shù)據(jù)平臺(tái)概覽
1. 大數(shù)據(jù)平臺(tái)的組成
大數(shù)據(jù)平臺(tái)主要由5部分組成:
第一部分,數(shù)據(jù)來(lái)源層,數(shù)據(jù)可以來(lái)自于數(shù)據(jù)庫(kù)(結(jié)構(gòu)化數(shù)據(jù)),文件日志(半結(jié)構(gòu)化數(shù)據(jù)),視頻、圖片(非結(jié)構(gòu)化數(shù)據(jù))。
第二部分,數(shù)據(jù)傳輸層、存儲(chǔ)層、計(jì)算層,擁有消息隊(duì)列等數(shù)據(jù)傳輸手段,數(shù)據(jù)清洗、抽取和建模能力,海量數(shù)據(jù)存儲(chǔ)能力,批處理、實(shí)時(shí)流處理能力,并行計(jì)算、內(nèi)存計(jì)算能力。
第三部分,任務(wù)調(diào)度層,進(jìn)行實(shí)時(shí)調(diào)度監(jiān)控,調(diào)度預(yù)警,可進(jìn)行調(diào)度策略配置,依賴關(guān)系分析,調(diào)度日志管理。
第四部分,業(yè)務(wù)模型層,進(jìn)行業(yè)務(wù)建模、業(yè)務(wù)應(yīng)用、數(shù)據(jù)可視化展示。
第五部分,數(shù)據(jù)運(yùn)營(yíng)管控、一體化監(jiān)控。
2. 大數(shù)據(jù)平臺(tái)的主要技術(shù)(這里主要介紹開(kāi)源技術(shù))
實(shí)時(shí)數(shù)據(jù)處理技術(shù)Kafka
批量抽取技術(shù)SQOOP
日志類型數(shù)據(jù)處理技術(shù)Logstash
流式數(shù)據(jù)處理技術(shù)Spark Streaming, Stream Sets
批處理、流處理引擎Mapreduce, Spark,
SQL引擎Hive/Impala/Presto
資源調(diào)度YARN
數(shù)據(jù)安全Sentry
分布式文件系統(tǒng)HDFS
分布式關(guān)系數(shù)據(jù)KUDU
搜索引擎Elastic Search
數(shù)據(jù)集市TiDB
三、 應(yīng)該如何建設(shè)大數(shù)據(jù)平臺(tái)
1. 大數(shù)據(jù)平臺(tái)的建設(shè)應(yīng)立足于業(yè)務(wù)主題
企業(yè)的業(yè)務(wù)主題包括采購(gòu)、銷售、制造、庫(kù)存、物流、財(cái)務(wù)、人力資源等,大數(shù)據(jù)平臺(tái)的建設(shè)應(yīng)考慮到所有的主題。
2. 大數(shù)據(jù)平臺(tái)建設(shè)應(yīng)考慮通用性
鑒于大數(shù)據(jù)平臺(tái)的建設(shè)周期和資源,需要考慮其通用性,不僅包括不同主題之間的復(fù)用性,而且包括平臺(tái)建成后可以推廣至不同企業(yè)的通用性。
3. 整體規(guī)劃,分步實(shí)施
先建設(shè)原型,再豐滿實(shí)例;先塑造最迫切的主題,再追加到所有的主題。
四、 企業(yè)應(yīng)該如何利用好大數(shù)據(jù)平臺(tái)
1. 明確要解決的業(yè)務(wù)主題
2. 明確每個(gè)業(yè)務(wù)主題的指標(biāo)標(biāo)準(zhǔn),以及指標(biāo)偏離需要采取的改善措施
3. 確保指標(biāo)計(jì)算所需的元數(shù)據(jù)的可獲取性及準(zhǔn)確性
違法和不良信息舉報(bào)投訴電話:0377-62377728 舉報(bào)郵箱:fbypt@ex12580.com
網(wǎng)絡(luò)警察提醒你 a>
中國(guó)互聯(lián)網(wǎng)舉報(bào)中心
網(wǎng)絡(luò)舉報(bào)APP下載
掃黃打非網(wǎng)舉報(bào)專區(qū)