自主AI能力加速企業智能化轉型 | 愛分析報告

來源：愛分析   發布日期：2023-03-29 16:33:20   瀏覽：9362次  

案例1：AI中心加速山西銀行智能化轉型，打造數據驅動型組織

山西銀行是經中國銀保監會批準，于2021年4月28日掛牌開業，以原大同銀行、長治銀行、晉城銀行、晉中銀行、陽泉市商業銀行為基礎，通過新設合并方式設立的省級法人城市商業銀行，現有員工7000余名，擁有分行級機構12家，各類營業網點387個，遍布全省10個地市、23個區、36個縣。

山西銀行成立之初，在對原大同銀行、長治銀行、晉城銀行、晉中銀行、陽泉市商業銀行科技系統整合的基礎上，為建立一套全行的可持續“讓數據用起來”的數據體系，于2021年啟動數據中臺項目群，推動包括數據開發平臺、數據管控平臺、數據服務平臺和客戶集市等功能實現。

建模方式不完善，亟待建模能力和建模系統全面升級

其中，為實現數據賦能業務需求，山西銀行擬圍繞以人工智能、大數據、云計算為代表的科技能力為基礎搭建自動化聯合建模平臺，為建模人員提供樣本導入、數據匹配、特征加工、模型訓練及模型評估等一站式聯合建模服務，并將聯合建模平臺作為數據開發平臺的重要組成部分。山西銀行對聯合建模平臺的需求主要體現在以下方面：

實現聯合建模。山西銀行中業務人員普遍不具備建模能力，而具備專業建模能力的科技人員對業務了解也不透徹，這導致科技人員在建模過程中需要與業務人員就具體需求、數據范圍、數據質量、模型設計等方面進行反復溝通，耗費大量時間。山西銀行亟需為業務人員實現自動建模功能，為科技人員提供一站式建模平臺支撐，實現業務人員和科技人員聯合建模，提升模型開發效率。

提升算力。AI的算力強弱直接影響到AI模型訓練的精度與推理結果。一方面，由于山西銀行數據由5家銀行數據合并而來，數據體量遠超之前單個銀行數據體量；另一方面，每個項目組都會各自申請計算資源，導致科技人員在進行模型訓練過程中經常面臨算力資源不足的問題，頻繁出現內存溢出、開發工具重啟等現象。此外，不同的業務場景需要的資源類型也不同，如機器學習模型常用CPU計算，深度學習模型傾向用GPU進行計算，因此如何提升建模的算力支持，且為科技人員屏蔽復雜的算力管理細節，專注于建模本身，是聯合建模平臺需要解決的主要問題之一。

實現數據、代碼等模型數據資產共享及沉淀。山西銀行技術人員在面向精準營銷、智能風控、產品設計等不同業務需求時，優秀的數據集、代碼、模型版本等成果不能及時共享，需要聯合建模平臺支持建模過程成果沉淀。

基于以上需求，山西銀行將聯合建模平臺項目進行招投標，綜合考量技術先進性、對業務場景的適應性、系統運行穩定性、系統安全性、系統可拓展性以及信創環境支持等因素，最終選擇與九章云極DataCanvas合作。

北京九章云極科技有限公司（簡稱：九章云極DataCanvas）成立于2013年，是中國數據智能基礎軟件領軍者。公司專注數據智能基礎軟件的持續開發與建設，通過自主研發的一系列企業級AI應用所需的平臺軟件產品及解決方案，助力用戶實現數智化升級。目前，九章云極DataCanvas機器學習平臺業務涉及政府、金融、通信、制造、能源、交通、航空等十余個行業，客戶覆蓋多個行業頭部和世界五百強企業。

基于DataCanvas APS機器學習平臺，建設AI中心

在九章云極DataCanvas協助下，山西銀行正式建設聯合建模平臺，基于九章云極成熟的DataCanvas APS機器學習平臺建立“模型實驗室”。該項目從2021年11月開始推進實施，歷經近9個月的時間，于2022年8月初完成平臺建設并進行線上試運行，之后于2023年1月正式在全行推廣，針對全行范圍的數據、模型需求正式開展工作。山西銀行模型實驗室面向科技人員和業務人員實現一站式模型開發，主要功能包括以下方面：

圖3：模型實驗室功能架構圖/示意圖

1.異構多引擎融合架構

• 靈活計算環境支持：平臺功能基于Docker實現容器化封裝，底層計算資源支持Kubernetes集群、Hadoop集群和GPU集群等多種模式，提供彈性可伸縮的CPU和GPU資源，支持大數據量的分析和訓練，實現計算資源合理利用。

• 工作流混合編排：在異構多引擎融合架構下，平臺算子封裝支持多語言模式，允許在同一個工作流中調用不同開發語言算子，可以快速融合機器學習和深度學習的多引擎的訓練和推理，支持工作流程嵌套，如在平臺中支持編碼、可視化、AutoML三種建模方式，三種建模方式之間可相互調用，最大程度上提高建模流程的靈活性和模型資產的復用性。

2.簡化數據準備，實現多源異構大數據分析

模型實驗室支持多種數據連接器，山西銀行可便捷獲取包括本地數據、關系型數據庫、Hadoop大數據平臺等在內的各類數據源，并且模型實驗室支持支持異構多源數據的加工和混合處理，即在一個工作流中可以將多個異構數據源中的數據作為輸入并調用平臺上的多種數據分析算子進行處理。

3.開放性算法支持

• 集成了主流的開源機器學習算法庫和深度學習框架，如TensorFlow、Caffee、H2O 等，不同框架間可開展協同工作。

• 提供豐富的開箱即用“白盒”算法庫，內置100多種算法模型，包括企業常用的統計分析、機器學習、深度學習算法，面向數據分析應用提供基礎算法支持。“白盒”模式下，算子代碼完全開放，支持客戶對代碼進行修改或開發，滿足建模人員算子自定義、算子迭代需求。

• 建模人員可在集成Web IDE環境中，對算子進行開發。并基于容器技術對算子進行靈活封裝、集成，形成算子模塊并發布到算法庫中。發布后的算子模塊可被反復調用，提升新模型的開發效率。

4.提供三種編碼方式，適應不同建模水平人員

• 代碼建模：支持科技人員在Web IDE環境中通過R、Python、Scala等編程語言進行算法開發

• 可視化建模：模型實驗室提供的算子模塊覆蓋模型生產全流程，包括數據準備、特征工程、模型訓練、模型評估、模型對比、模型發布等，支持了解建模流程的科技人員通過圖形化、拖拽式建模。

• AutoML建模：針對不具備建模知識的業務人員，模型實驗室提供低門檻AutoML技術，平臺可自動完成包括算法選擇、超參數優化、模型評估、模型選擇及模型發布等系列過程，并生成面向生產系統的REST API調用服務。業務人員通過配置目標即可實現自動化建模。

5.模型全生命周期管理

對數據接入、數據轉換、特征工程、建�？梢暬�、模型倉庫、模型生產化等建模全過程的數據、環境、代碼、模型版本進行管理，實現數據、特征、模型的復用和迭代，沉淀數據資產。

6.支持高性能的分布式訓練

融合主流分布式計算框架如Spark、TensorFlow、PyTorch、Dask等，并預置豐富的分布式訓練場景；深度學習分布式支持單機單卡、單機多卡、多機多卡訓練，用戶可以在復雜場景下快速高效完成模型訓練。

以上是模型實驗室的重要功能。

山西銀行在搭建模型實驗室的基礎上，也在考慮如何改善模型開發流程讓模型實驗室發揮最大價值。由于模型開發流程包含業務需求分析、搜集數據、數據清洗、特征工程、模型訓練、模型部署、模型運維等環節，涉及業務部門、IT部門、算法開發人員等多個部門，為保證模型開發流程高效運轉，在建設模型實驗室基礎上，山西銀行制定了一套完善的模型開發協作機制，如下圖所示。其中，業務部門提出業務需求并對模型最終效果進行確認。數金業務部承擔與業務部門溝通的職責，包括業務需求確認、模型設計溝通、模型初訓練的效果確認等。數金科技負責數據預處理、模型訓練工作。

圖4：山西銀行跨部門模型開發協作流程示意圖

模型實驗室大幅提升建模效率、有效降低建模成本

模型實驗室作為山西銀行的AI中心，利用先進的異構多引擎融合架構，適應業務人員和科技人員的不同建模需求，為智能應用建設生命周期提供完善的工具和支持，實現端到端一站式建模，有效解決算力瓶頸問題，大幅提升建模效率。

1.解決算力瓶頸問題

模型實驗室基于異構多引擎融合架構，具有優秀的可擴展性，利用Spark 分布式內存計算提供強大的計算能力，支持海量數據計算分析。此外，模型實驗室能在模型開發的數據處理、模型訓練等環節提供資源自動推薦，用戶也可對資源類型和配額進行調整，實現算力的高效利用。同時，模型實驗室對使用者屏蔽了大數據技術組件的復雜性，使業務人員和科學人員能輕松獲得大數據處理能力。

2.提升建模能力，提高建模效率

模型實驗室提供端到端一站式建模全流程支持，能大幅提升山西銀行在數據探索、預處理、特征工程、分析挖掘以及模型服務等環節的能力。另一方面，模型實驗室為業務人員提供的AutoML建模和圖形化建模方式，使業務人員能根據需求自主建模，基于模型效果再與科技人員溝通進行模型優化或調整，改進建模流程，大幅縮短建模時間，實現對業務需求的敏捷響應。

3.模型資產和建模方法論沉淀

建模過程中，包括數據集、數據清洗、特征工程、模型訓練、模型上線等過程的代碼、數據，以及建模的流程都能保留并提供下載，科技人員可以通過權限定義分享對象，從而實現人員協同、成果復用，沉淀模型資產、解決問題的方法論和流程。

4.有效實現成本控制：經統計，基于模型實驗室，單個機器學習模型的建模成本縮減60%，運維成本降低30%。

案例2：某石化企業通過工業大數據分析建模平臺實現加氫裂化裝置工藝優化，提升經營效率

某石化企業是一家集石油化工、煤化工、石化產品銷售為一體，配套齊全的大型煉化一體化企業，原油加工能力2200萬噸/年、芳烴生產能力100萬噸/年，加工規模和技術水平位居國內煉油企業第一梯隊。

近年來，該石化企業積極推進信息化工業化兩化深度融合，基于工業互聯網提出“智能煉廠”，在裝置優化、計劃優化、供應鏈優化等環節推進相關應用研究。目前，該企業工業互聯網已廣泛應用于工藝、設備、HSE、能源、經營管理、物流等領域。

與此同時，煉化企業為應對低油價與成品油市場寒冬，紛紛以生產優化為核心深入實施降本增效，進而對生產模型精度、模型開發效率以及模型應用廣度等都提出更高要求。

而智能建模技術作為“智能煉廠”的核心技術，以煉油生產為“目標函數”，能通過快速創建智能化應用，為安全生產、降本增效提供智能決策，成為石化企業普遍關注的關鍵技術。加氫裝置（包括加氫精制、加氫裂化）是石油煉化企業的關鍵環節，該石化企業希望通過敏捷建模實現煉化生產智能化。

既有建模方式門檻高、難應用

針對生產優化，該企業早已應用基于機理的傳統優化建模軟件如Aspen、Petro-SIM、ProII，同時也在嘗試基于機器學習算法的大數據建模技術，如將煉化機理知識與深度學習算法相結合，已經實現加氫裝置原料油換熱器結垢預測、加氫催化劑床層溫度預測等場景的智能化應用，并取得了較好效果。但兩種建模路徑都難以滿足業務需求，使企業處于“有數據、無模型、有模型、難應用”的被動局面，具體痛點表現在：

1）技術門檻高�；�于機理的傳統優化建模嚴重依賴專家經驗以及國外廠商提供的優化求解軟件，且建模軟件模型收斂慢，調優復雜。而機器學習建模過程涉及數據準備、特征工程、模型構建、模型部署，也嚴重依賴具備專業建模能力的數據科學家。該企業缺乏懂建模也懂業務的專業復合型人才，同時高技術門檻阻礙了建模技術在企業煉化場景的廣泛推廣應用。

2）建模周期長，建模成本高。傳統優化建模和機器學習建模都存在著“大數據、小任務”，執行任務單一的特點。其建模過程中數據體量大、開發難度大、研發周期長，而開發的模型僅能適用于單個“小場景”。如果想覆蓋煉化過程的更多場景就需要定制化的開發多個模型，導致兩種建模方式均投入巨大，難以快速為企業帶來效益提升。

3）模型部署難。在該石化企業業務中，當機器學習算法模型訓練完畢部署到生產環境中時，數據采集、預處理和邊緣推理計算時均受智能設備影響，AI模型的實際效果與智能設備的選型、接入、點位選擇以及人力調試密切相關。然而該化工企業智能設備來源廣泛，不同生產領域的設備型號各異，缺少統一的接入標準，且設備安裝、接入和調試需要耗費大量人力，導致模型在不同生產領域部署時均需以項目課題形式實施，模型部署難也進一步制約機器學習建模在企業的推廣應用。

建設一站式煉化工業大數據分析建模平臺，支撐深度學習算法推廣應用

鑒于機器學習建模在前期實驗中的出色效果，該石化企業決定將深度學習算法進行推廣應用，將“智能煉廠”推進“深度編碼”階段，通過先進的技術手段，如容器化、分布式計算、低代碼等技術，實現對深度學習算法在煉化領域落地的助推。而實現深度學習算法的推廣應用，需要大數據建模平臺做支撐。該石化企業考慮到自建大數據建模平臺成本投入大、技術難度較高，如分布式計算環境對硬件資源要求高、大數據組件的開發與應用難度大、模型部署對接各個系統復雜性較高等，于是決定與第三方廠商合作，綜合考慮行業服務經驗、核心技術能力、兼容性、成本等方面，最終選擇與力維智聯合作。

力維智聯成立于2005年，是國家高新技術企業，憑借泛在數據接入與匯聚和大數據智能等AIoT技術和十余年AIoT系統集成交付能力，提供軟硬一體的行業AIoT產品、解決方案與服務。同時，力維智聯通過低代碼機器學習開發平臺提供AI開發工具軟件和AI中臺解決方案，該平臺已服務于上海世紀出版集團、南方電網科研院、中海油、航天科技、國家5G中高頻器件創新中心等企業和公共服務平臺。

在力維智聯的協助下，該石化企業在既有工業互聯網平臺架構下，針對石化煤柴油加氫裝置構建起一站式煉化工業大數據分析建模平臺，集成數據預處理、主流機器學習算法、智能優化算法和模型自動訓練方法，最終實現生產數據到模型應用的端到端建模平臺。

圖7：工業大數據分析建模平臺在工業互聯網的位置

圖8：工業大數據分析建模平臺架構示意圖

1. 工業大數據分析建模平臺架構

工業大數據分析建模平臺處于石化工業互聯網的工業PaaS層。架構上，工業大數據分析建模平臺分為數據分析引擎和數據模型用戶端。

1）數據分析引擎

數據分析引擎分為底層架構和業務架構。底層架構由Spark、MongoDB、Java Client、Webserver等技術組成。業務架構包含數據讀入、數據處理、特征工程、機器學習、深度學習、智能優化、AUTOML等模塊。數據分析引擎主要提供數據分析與挖掘、特征工程與模型訓練功能，其中數據分析還包括數據輸出及數據可視化。

2）數據模型用戶端

數據模型用戶端底層架構由Java Client、Azkban、Redis、Java Springboot等技術組成。業務架構通過數據視圖——算子流構建——模型管理——模型工作流——模型服務——發布應用構建起來。數據模型用戶端支持多種數據庫接入，但不對接入數據進行存儲，該石化企業另部署數據庫進行對接。

數據模型用戶端主要提供用戶權限管理、資源的定義和管理、任務調度以及數據的呈現，其中資源包含數據視圖、算子流、工作流和應用等。

2. 工業大數據分析建模平臺功能

基于以上架構，工業大數據分析建模平臺覆蓋數據準備、統計分析、數據可視化、特征構造、模型構建和模型部署等智能應用開發全流程。具體實現了以下功能：

1）提供豐富的算法：平臺包含的算法主要分為兩部分，一是通用數據科學挖掘算法，包括數據預處理和主流機器學習算法；二是優化算法，包括模型自訓練算法和智能優化算法。一線煉化工程師可以根據自身需要設計算子流，對多種格式的數據數據進行預處理，或是根據業務場景進行建模。

2）煉化數據與大數據融合：一方面，平臺通過預置煉化過程“工藝、質量”等領域專題數據集固化先驗知識，并對工藝特征工程進行遷移，為大數據算法落地提供特征模板與數據基礎，將工程師的專家知識固化到平臺；另一方面，平臺預置豐富機器學習、深度學習算子，可為不同煉化過程大數據建模場景提供算法與數據的適配融合。

3）實現低門檻建模：一方面，基于應用引擎、算子流和工作流的編排功能，工業大數據分析建模平臺為煉化工程師提供無代碼的圖形化“拖拉拽”建模支持，通過連接任意算子形成算子流，可便捷實現數據預處理、模型設計、訓練和部署。另一方面，平臺支持無代碼的模型自訓練（AutoML），包括自動數據準備，自動機器學習，自動模型調參，大大降低煉化工程師的建模門檻。

4）提供智能應用開發：模型部署后，平臺提供API服務的方式供其他業務系統調用，同時也支持借助BI+AI圖標和控制組件開發動態可交互的可視化應用。

5）資源分布式、項目制管理：通過集群部署，平臺實現了模型訓練算力與推理算力資源的分布式管理，以項目為單位，對數據資源和硬件資源進行精細化管理控制。

6）軟硬件兼容適配：力維智聯在平臺部署時使用了容器化技術，對國產化軟硬件進行兼容性適配開發，保證平臺順利部署、穩定運行。針對數據接口接入，力維智聯通過適配該煉化企業自有的工業互聯網平臺數據微服務接口，完成了煉化數據接入，保證數據流轉暢通。另外，平臺還額外提供了ETL能力，對數據進行治理與融合，實現算法建模前對數據進行預處理。

7）完備的流程管理：平臺提供從數據接入、數據分析處理、數據展示、特征工程、模型管理、模型部署以及智能應用上線一站式實現和管理。

工業大數據分析建模平臺顯著提高建模效率、轉變模型開發方式

該石化企業通過大數據低代碼建模平臺，解決了煉油化工企業“有數據、無模型；有模型、難應用”、“建模成本高、建模周期長”的問題。通過實踐證明在預測誤差、利潤產品收率、建模周期等方面均得到顯著改善。

1）模型性能提升，預測誤差降低

基于大數據建模平臺開發的“多通道多尺度卷積神經網絡（MCMSCNN）”模型在加氫催化劑床層溫度預測、氫氣耗量預測方面誤差<3%，提升了煉化工程師對核心工況參數的監控把握，大幅降低氫氣、燃料氣等生產成本。

基于低代碼平臺開發的“大數據預訓練+工藝數據微調”遷移算法解決了因LIMS（實驗室信息管理系統）化驗分析數據量不足而造成的產品性質預測模型性能不佳的問題，實現了加氫裂化產品性質的實時軟測量，利潤產品收率提高約0.8%。

2）建模門檻降低，建模周期大幅縮短

數據智能建模平臺實現了生產裝置海量數據的有效利用，從數據采集到模型部署，由2周大幅縮短為1天。其中建模環節，因平臺支持通過建立與煉油裝置有關的工藝和質量的專題數據集來固化先驗知識，遷移建模特征，為大數據算法落地提供特征模板與數據基礎，使建模時間由原來的一周大幅縮短為8小時，建模效率大幅提高。

此外，該石化企業內的模型開發工作也實現了“去中心化”，從原有信息中心的個別工程師在實驗室開發，轉變為一線工程師結合生產問題廣泛開發，有效賦能生產。

3）模型資產實現復用

由煉化工程師自主研發的10余個機器學習模型，日調用量超1000余次。

廠商選型和企業科研意識是大數據低代碼建模平臺落地關鍵

該石化企業通過建設低代碼工業大數據分析建模平臺實現加氫裝置多環境的優化，取得良好效果，其成功經驗可以復用到煉化行業生產工藝環節、其他流程行業企業，或是供已建設工業物聯網的企業借鑒，主要包括以下兩點：

1）廠商選型

石化企業的生產流程具有顯著行業特點，生產環境復雜，對產品的穩定性、可靠性要求苛刻，且石化企業普遍不具備建模能力，建模平臺完成后需提供完善的售后服務。因此廠商應具備以下能力。

• 廠商應具備工業、制造業或是能源行業的服務經驗，具備一定的行業Know-how積累，理解行業工業互聯網要求、了解企業業務流程。

• 廠商產品須為自主研發，能針對企業個性化需求進行定制化開發。

• 廠商產品及技術應兼容國產化軟硬件環境，能夠在國產CPU、AI加速芯片以及操作系統上穩定運行。

• 廠商應能提供數據分析師、數據科學家為企業提供培訓教學，讓一線工程師快速掌握基礎概念，結合業務案例，通過實訓的方式讓工程師掌握平臺使用技能。

2）企業自身對數字化、對科研的重視

一方面，企業需要有強烈的科研意識，能夠緊跟新技術發展，勇于在自身業務領域進行創新；另一方面，企業管理層對工業互聯網、對數字化建設的重視也是機器學習建模平臺能順利落地的保障。