探索恐龍！OpenVINO™工具箱概述

目錄

1. Bone Hunt: 使用AI探索恐龍(帶表情符號) 🦴🔍
2. Bone Hunt: 使用AI探索恐龍的開始 🐉
   • 2.1 打開Bone Hunt的裝置
   • 2.2 OpenVINO工具箱介紹
3. 使用OpenVINO優化AI解決方案 (帶表情符號) ⚙️💡
   • 3.1 部署挑戰
   • 3.2 OpenVINO提供的加速能力
4. 什麼是OpenVINO？(帶表情符號) 💻🔬
   • 4.1 OpenVINO的用途
   • 4.2 OpenVINO支援的硬體架構
5. OpenVINO的優化策略 (帶表情符號) 📈🔧
   • 5.1 模型壓縮
   • 5.2 量化處理
   • 5.3 不同硬體架構的優化
6. 使用Intel oneDNN優化過程 (帶表情符號) 🚀⚙️
   • 6.1 Intel oneDNN的使用
   • 6.2 取得更好的效能
7. OpenVINO適用的硬體平台 (帶表情符號) 💪💻
   • 7.1 CPU
   • 7.2 GPU
   • 7.3 VPU
   • 7.4 其他硬體平台的未來展望
8. 使用OpenVINO加速AI計算 (帶表情符號) ⏩🚀
   • 8.1 融合CPU和GPU的運算
   • 8.2 OpenVINO提供的高效能計算
9. OpenVINO的價值與開源 (帶表情符號) 💎🌐
   • 9.1 多硬體平台支援
   • 9.2 開源專案的價值
10. 結語 (帶表情符號) 📝👋

Bone Hunt: 使用AI探索恐龍(帶表情符號) 🦴🔍

歡迎來到這一集的Bone Hunt，透過AI探索恐龍的冒險！我是Bob Chesebrough，作為一個解決方案工程師和技術推廣者，我在Intel Corporation支援oneAPI和AI相關的工作。在這一集的Bone Hunt中，我們將介紹OpenVINO Toolkit。我和我的同事Raymond Lo和Zhou Wu一起合作，優化我們使用OpenVINO Toolkit的地圖開發代碼。我們優化的分類器非常出色，因為它在現實世界中運作良好。作為工程師，我們希望提供能夠在其他人的機器上運行良好的解決方案，而不僅僅是在我們自己的機器上運行良好。我們想確保超出我們自己的範圍，其他人也能夠利用這項工作，這就是所謂的部署挑戰。我們希望部署一個AI解決方案，讓更多人使用。在部署過程中，通常會遇到部署規模的問題。例如，有多少人可以使用它？更重要的是，與性能有關的是，如何確保更多人可以在良好的體驗下使用它？當Raymond和我檢視我們的解決方案時，我們認為要計算一個地圖生成可能需要一個小時，而我們初始地圖的解析度並不是最好的。我們想像一個更大、更詳細的地圖將需要更長的計算時間。這就是OpenVINO的作用，它提供了所需的加速效果，以進行更多計算，生成更高解析度的地圖。OpenVINO是Intel開發的一個優化工具，專為Intel硬體（特別是x86架構）而設計，現在它也支援不同的架構，如GPU、VPU和FPGA。OpenVINO就像是一個AI框架的漏斗，包括Caffe、ONNX、TensorFlow和PyTorch。我們將這些框架作為輸入提供給OpenVINO，以在不同的Intel硬體上進行優化。優化可能對您來說很廣泛，但我們明確考慮到如何減少模型的大小、量化處理以及不同架構的協同運行。在背後的數學上，我們有一些有趣的方法來簡化圖形，使其更緊湊，以避免浪費資源。在我們AI的生命周期中的這一點上，我將這個項目看作是一個優化問題。我和Raymond花了大約兩個星期的時間，將我們的解決方案優化並加速在CPU和GPU上同時運行。這件事情的酷之處在於，我們利用了Intel oneDNN庫，通過更高層次的框架，避免了著手處理低層次的細節。oneDNN的工作方式是，當像Xeon的XMX、AMX和VNNI這樣的指令集可用時，庫會自動利用底層硬體指令，以便我們可以有效且高效地進行計算。例如，VNNI的設計使您可以快速進行點乘，這在AI中是常見的操作。不再需要進行三種不同的指令進行點乘，我們只需要一個指令，大大提高了性能。請記住，OpenVINO是一個開源的、易於使用的工具，可以提供您的硬體最佳性能。它非常靈活，因為它支援CPU、GPU和VPU。當我和Raymond一起工作時，我們使用了我的筆記型電腦來進行所有這個案例的數據計算。CPU效果非常好，但我們希望超越這一點，而我手邊最好的硬體就是CPU旁邊的顯示卡。通過OpenVINO，我們可以直接使用CPU，但結合CPU和GPU，我們看到了顯著的加速效果。在保持筆記型電腦的功率範圍內，我不需要購買一台伺服器來進行計算，並且我們輕鬆地超越了之前的基準。對於未來，我們對GPU的展望充滿興奮，包括Intel ARC、Intel Datacenter GPU Flex系列和Intel Server GPU的推出。OpenVINO在過去五年中已經成為一個非常有趣的工具，它支援多種硬體平台、軟體架構，並且利用了oneDNN的一些優秀工作。對於AI社群中的每個人來說，這是一個有價值的開源專案。在本集中我們對OpenVINO作了一個簡單的概述，記住您可以在描述中找到有關所有相關資源、工具和下載的連結，以及進一步了解本系列的地方。在這裡，請按讚和分享這個視頻，並訂閱Intel Software的YouTube頻道。下一集中，我們將結束Bone Hunt，探索使用AI發現恐龍的冒險。讓冒險開始吧！

Bone Hunt: 使用AI探索恐龍的開始 🐉

在本集的Bone Hunt中，我們將介紹OpenVINO Toolkit，它可以幫助我們加速AI解決方案的部署。在開始深入研究之前，讓我們先了解一下Bone Hunt的情景設定。

2.1 打開Bone Hunt的裝置

在Bone Hunt的故事中，我們是一群冒險家和專業的恐龍獵人。我們使用AI技術來幫助我們在世界各地搜索和發現恐龍骨骼化石。為了讓整個過程更有效率、更準確，我們需要使用強大的工具來處理大量的數據和影像。這就是為什麼我們選擇使用OpenVINO Toolkit的原因。

2.2 OpenVINO工具箱介紹

OpenVINO Toolkit是由Intel開發的一個優化工具，專門用於加速AI推論。它支援多種硬體平台，如CPU、GPU和VPU，這使得我們可以在不同的設備上部署我們的AI解決方案。使用OpenVINO，我們可以優化模型、量化處理和利用不同硬體架構進行運算，以獲得更好的性能表現。這對於我們需要在現實世界中部署解決方案的冒險家來說非常重要。

現在讓我們更深入地瞭解OpenVINO的優化策略和它所提供的加速能力。