Cloudera大中華區(qū)技術總監(jiān) 劉隸放

數(shù)據是AI驅動創(chuàng)新的命脈。當前，各類企業(yè)都在加大對數(shù)據保護、清洗和可訪問性的投入。然而，在專注于從客戶和平臺收集珍貴原始數(shù)據的同時，很多企業(yè)忽視了元數(shù)據（Metadata）——一種關于數(shù)據的數(shù)據。Gartner《2023年數(shù)字時代元數(shù)據管理》報告指出，60%的企業(yè)承認不了解其關鍵數(shù)據的存儲位置。根據麥肯錫最新調查顯示，許多中國企業(yè)在生成式AI的技術落地上缺乏明確的數(shù)據策略，不清楚應收集和處理哪些數(shù)據，常常導致項目陷入遲滯。

而元數(shù)據是企業(yè)做出明智決策的重要依據。以購買餐食為例，消費者需要了解食材成分、營養(yǎng)價值、新鮮度和安全標準等信息，才能做出明智選擇。同理，企業(yè)需要掌握數(shù)據訪問權限、創(chuàng)建日期、來源、敏感類別和使用方式等信息，才能提升數(shù)字基礎設施與管理水平。反之，如果忽視元數(shù)據，企業(yè)可能會因缺乏分類和追蹤而導致效率低下、錯失機遇，甚至引發(fā)安全和合規(guī)問題。

為規(guī)避這些風險，企業(yè)必須將元數(shù)據治理作為整體數(shù)據戰(zhàn)略的核心組成部分。

元數(shù)據治理已成為企業(yè)“剛需”

無論是追蹤數(shù)據流動的跨系統(tǒng)血緣，還是提供列級洞察的內部系統(tǒng)血緣，或是呈現(xiàn)數(shù)據完整歷程的端到端血緣，完善的元數(shù)據管理都需要依賴強大的數(shù)據血緣。在金融、醫(yī)療等高度重視合規(guī)性、可審計性和安全性的行業(yè)，這種追溯能力至關重要。

例如在一家每天要處理數(shù)十億美元資產和數(shù)百萬筆跨市場交易的銀行，元數(shù)據可確保每筆交易都附有時間戳、貨幣詳情和數(shù)據標記，同時追溯金融數(shù)據的來源、修改記錄及司法合規(guī)性。金融服務商需要三天才能完成報告數(shù)據來源映射。而在使用數(shù)據血緣與目錄平臺后，該流程縮短至兩小時，確保了跨銀行渠道的實時可信數(shù)據交付。缺乏規(guī)范的元數(shù)據管理可能導致收入確認錯誤、審計線索缺失和數(shù)據不一致，不僅會招致監(jiān)管處罰，還需要企業(yè)投入大量時間重建財務報表。

元數(shù)據管理是數(shù)據治理的核心，因為它解決了數(shù)據治理計劃需要應對的許多核心問題，包括標準化缺失、數(shù)據所有權模糊、數(shù)據質量規(guī)則未明確定義等。

加強元數(shù)據管理并全面掌控數(shù)據資產雖有難度，但成效顯著。元數(shù)據管理的自動化是構建統(tǒng)一數(shù)據視圖的關鍵，統(tǒng)一的元數(shù)據策略能夠更快地識別可信數(shù)據、保障安全性、增強治理力度并提供覆蓋所有數(shù)據資產的統(tǒng)一視圖。

通過集中管理元數(shù)據和實現(xiàn)元數(shù)據在不同系統(tǒng)中的一致應用，Cloudera的共享數(shù)據體驗（SDX）等功能為企業(yè)提供有力支持。借助精細化訪問控制機制，企業(yè)能夠控制元數(shù)據的查看、修改和共享權限，防止敏感信息受到未經授權的訪問和內部威脅。

此外，元數(shù)據分類的自動化消除了人工干預，減少了不一致性，并提高了效率。隨著企業(yè)越來越多的在混合云和多云環(huán)境中運營，采用整體元數(shù)據管理而非分散的孤島式管理，有助于企業(yè)保持數(shù)據完整性并做出更明智的決策。

元數(shù)據是AI的神經系統(tǒng)

AI模型需要大量結構化和非結構化數(shù)據，但若缺乏元數(shù)據，則無法對這些信息進行符合上下文的處理或分類。在生成式AI領域，根據數(shù)據源、質量、格式及使用權限對數(shù)據集進行分類，有助于模型生成相關的洞察和結果。元數(shù)據在數(shù)據驗證、偏差檢測和質量控制方面發(fā)揮著重要作用，它不僅能提供相關的答案，還能確保答案的準確性。

在醫(yī)療領域，元數(shù)據除了用于整理病歷外，還能幫助醫(yī)院制定更智能、快速和個性化的治療方案，從而提升醫(yī)療服務標準。通過為治療結果、藥物相互作用等所有環(huán)節(jié)添加標簽，元數(shù)據可以幫助醫(yī)生做出更精準的決策，從而降低病人的再入院率、實現(xiàn)疾病的早期檢測并優(yōu)化資源配置。默克公司使用Cloudera安全連接了5萬臺醫(yī)療設備，為醫(yī)生提供實時洞察，確保患者獲得更優(yōu)質、可靠的治療。在分秒必爭的醫(yī)療場景中，元數(shù)據將被動醫(yī)療體系轉變?yōu)橹鲃宇A防機制，有效減少了住院需求。

通過提高數(shù)據可見性加強控制

元數(shù)據已成為企業(yè)不容忽視的一個方面。企業(yè)需要重視元數(shù)據管理放并全面掌握數(shù)據情況，進而充分挖掘數(shù)據資產潛力，確保數(shù)據安全、合規(guī)且隨時可用于戰(zhàn)略決策。隨著AI驅動的洞察成為常態(tài)，將元數(shù)據治理融入整體數(shù)據戰(zhàn)略的企業(yè)將更有可能獲得成功。