本地LLMs全解密！

目錄

🛠️ 環境設置

• 安裝並設置 AutoGen Studio
• 使用開源大型語言模型
• 通過 API 端點提供本地語言模型服務
• 下載並安裝 LM Studio
• 啟動本地服務器
• 創建 Autogen Studio 實例
• 創建自定義代理
• 創建自定義工作流程
• 測試工作流程
• 解決常見問題

🛠️ 環境設置

安裝並設置 AutoGen Studio

Autogen Studio 是一個強大的工具，用於建立自動化代理。以下是安裝和設置的步驟。

使用開源大型語言模型

探索如何使用開源大型語言模型（LLMs）代替 GP4，以增強自動代理的功能。

通過 API 端點提供本地語言模型服務

通過設置 API 端點，將本地語言模型服務集成到 Autogen Studio 中，從而提高效率和功能性。

下載並安裝 LM Studio

LM Studio 是用於運行本地語言模型的理想選擇。下載和安裝該軟件以準備開始使用本地語言模型。

啟動本地服務器

通過啟動本地服務器，您可以將所需的語言模型通過 API 端點提供給 Autogen Studio。

創建 Autogen Studio 實例

根據之前的設置，啟動 Autogen Studio 實例，準備開始構建自動化代理。

創建自定義代理

通過創建自定義代理，您可以定制自己的工作流程，以滿足特定需求和任務。

創建自定義工作流程

建立自定義工作流程，以在 Autogen Studio 中引導代理完成各種任務和操作。

測試工作流程

在設置和創建代理和工作流程後，進行測試以確保一切正常運行並滿足預期。

解決常見問題

探索常見問題的解決方案，以便更有效地使用 Autogen Studio 和相關工具。

🛠️ 使用開源大型語言模型

在上一個視頻中，我向您展示了如何在本地計算機上安裝並設置 Autogen Studio。在那個視頻中，我們使用了 GP4 作為主要代理，但是其中一個最常見的請求是將該模型替換為開源大型語言模型。這正是我們將在本視頻中進行的操作。這將是使用最小努力以及最簡單的方式來使用 Autogen 與本地 LLMs。首先，我們需要通過 API 端點提供本地 LLM。為此，我們將使用 LM Studio。LM Studio 是如果要在本地計算機上運行 LLMs 的最佳選擇之一，它可能擁有最好的 UI 之一。您還可以通過 API 端點提供本地 LLM，這使得它非常適合與 Autogen Studio 一起使用。首先，您需要在本地計算機上下載 LM Studio，現在您可以在各種不同的平台上安裝它，包括 Mac OS、Windows 以及 Linux。下載 LM Studio 的實例，我在 LM Studio 上有一個專門的視頻，我將在描述中放一個鏈接。我有一個 LM Studio 的實例正在運行，如果您正在尋找特定的模型，請搜索模型，然後點擊下載，這將為您下載模型。LM Studio 不是開源的，但它可能是您可以在本地計算機上使用的最好的 UI 之一。一旦下載了您選擇的模型，所有模型都會在此列出。對於此示例，我們將使用 Hermes 2.5 mral 7B 模型。我已經下載了該模型，所以只需點擊它，這將加載該模型。現在，我們需要通過 API 端點提供此模型，然後我們將點擊“本地服務器”。在這裡，您可以自定義端口號，如果您想要將此 API 端點提供在特定端口上，但我將保持默認值為 1234。您需要確保您提供的端口足夠唯一，以至於您計算機上沒有其他進程在運行該端口。所以，我們準備好啟動服務器，點擊“啟動服務器”，現在我們通過 API 端點提供我們的模型服務，API 端點如下：Local Host 123