解锁Ollama的GPU性能，简单易用！

Find AI Tools

No difficulty

No complicated process

Find ai tools

Home Hardware-cn 解锁Ollama的GPU性能，简单易用！

解锁Ollama的GPU性能，简单易用！

💻 为什么需要额外的GPU
💪 常见的云服务提供商
🌟 Brev：一个易于使用的云GPU提供商
⚡️ 如何在Brev上启动云实例
🎯 如何通过Tail Scale连接远程服务
🌐 构建手机端WEB界面
🤝 与朋友共享强大的计算机
🔥 Brev的其他功能
📚 Brev的Collab Notebooks
❓ 常见问题解答

💻 为什么需要额外的GPU

有时候，你可能需要额外的GPU，可能是因为你没有GPU，或者你不想让风扇一直启动。你可能希望让本地机器运行本地编码模型，但同时也需要访问其他模型进行其他任务。也许你正在使用OBS进行流媒体传输，不希望出现延迟。你可能正在运行不同的代理，并希望它们能够更快地响应。需要额外的GPU的原因可能是多种多样的。

💪 常见的云服务提供商

在寻找解决方案时，我们需要找到一个云服务提供商，他们提供有GPU的虚拟机，而不仅仅是共享的通用GPU，名称普遍是不具体的。例如Azure上的情况，你不知道那些共享的GPU是什么样的，不知道是否有Nvidia卡，并且不知道是否有Cuda驱动程序。

我有些朋友喜欢使用PaperSpace，他们觉得它非常棒。它是Digital Ocean所拥有的，但是除了每次启动一台机器，我似乎都要进行配额请求，然后需要等待20分钟才能批准，这总是让人很烦。不过好处是，它们几乎是唯一可靠的提供基于Windows的GPU实例的来源。

我认识其他一些人很喜欢使用Fly.io，但我觉得它用起来有点棘手。我花了很多时间阅读文档，但就是无法弄清楚。我也试过使用Lambda Labs或者GCP等服务，但总是遇到访问GPU的问题。有时候，我可能要等待长达5分钟的时间，才会在控制台上看到一个红色的感叹号，提示在该地区没有可用的GPU，明天再试。然后我尝试切换到不同的地区，希望能够运气好一点。为什么他们不能直接告诉你哪里有GPU？我完全不明白。

这就是我对Brev感到非常惊讶的地方。他们让我们能够在地球上的任何地方非常容易地找到一个GPU。通常，几十分之一秒的延迟并不会对这种使用场景产生太大的影响，所以不管机器在新加坡还是在其他任何夜晚的地方，对我来说都没有关系。而且你只需要支付他们的费用，而不是注册AWS、GCP或其他平台的账户，虽然如果你在这些平台上有账户，也可以集成使用。

你可能会想，这样会非常昂贵。确实，如果你需要让机器24小时运行的话，可能会很贵。但是一天中你用模型的时间有多长呢？也许是2个小时，或者3个小时，一周工作5天。所以你每个月只需要支付大约6、7美元，我认为这是相当合理的。而且，实例只需要大约1分钟左右就能启动。

现在，让我们看看它是如何运行的。我将登录我的Brev dodev账户，然后点击新实例按钮。那么我想要哪个GPU呢？我通常会选择T4，它便宜且运算速度相当快，通常可以达到40多个tokens每秒。当然，定价会根据可用性而变化，但我通常会选择竞价定价来降低费用。在我录制这个视频时，价格似乎有些波动，但我不清楚它依赖于什么因素。我可以给它更多或更少的资源，并设置一个名称，比如叫做remote AMA，然后点击部署。根据我的经验，机器大约在一分钟内就可以启动，也许稍微短一点。

然后AMA服务器需要另外4秒安装，因为所有的GPU驱动程序已经存在。在GCP上，即使我指定使用机器学习优化的实例，我也需要等待5分钟或更长的时间才能安装Cuda驱动程序，然后再等20秒左右来运行Llama 2或Gemma等模型，所以速度相对来说比较快。所以，完全启动并且运行的时间大约是一分钟半。你有注意到我如何登录吗？通常在大多数云服务提供商上，你需要在一开始就提供一个SSH密钥，或者下载一个密钥文件来连接，但是在Brev上，你不需要处理这些。你只需在设置账户时运行一条命令，叫做brev。我可以输入brev shell -D host remote AMA，然后我就连到了这台主机。也许更令人激动的是，我可以输入brev open -D host remote olama，然后VS Code会打开，并配置好以与远程机器连接。我觉得这非常酷。但是我希望只需运行olama命令就能让我的olama客户端访问远程机器。要实现这一点，需要几个步骤：

我们需要告诉客户端机器AMA服务在哪里运行。
我们需要告诉AMA服务接受来自其他机器的请求。
我们需要允许远程机器访问Brev服务器。

最后这一步可能最容易，也可能最困难。在某些平台上，你可能会授予所有访问者所有权限，这是非常危险和愚蠢的。因为在世界范围内有一些搜索引擎可以轻松找到开放的端口。我大约四个月前试过一次，发现了很多大敞的Alama服务器。不要那样做，你会惊讶于如果你不介意自己的道德准则，你能够获取多少免费的计算资源。Brev并不允许你随意开放服务。不过，他们提供了一种方法，可以在他们的用户界面上打开一个服务，可以与其他人共享，并使用Brev进行身份验证以获得对该服务的访问权限。如果你想了解更多，我可以在以后的视频中介绍一下，只需在下面提出要求即可。请记住，我的目标是将远程olama添加到我的tail scale网络中。因此，我将在tail scale中选择添加设备，然后选择Linux。运行提供的shell脚本，然后运行sudo tail scale up，它会给我一个URL，点击它将把机器添加到我的网络中。根据实际运行此主机的提供商的情况，名称和tail scale可能不同。我将把它重命名为remote olama，我们就快要完成了。现在，在remote AMA上，我们需要添加一个环境变量，告诉AMA服务接受来自远程机器的请求。所以我们需要设置_host=0.0.0.0。要正确执行此操作，需要运行sudo systemctl edit. service，第一次运行此命令时，将获得一个空文件，将service添加到文件的顶部，然后将environment=_host=0.0.0.0添加到文件中。第二个等号在双引号内部，保存文件，然后运行sudo systemctl daemon-reload，再运行sudo systemctl restart olama重启服务。最后，你需要注意的是，当你在tail scale中设置好后，你会在菜单栏上看到一个图标（对于Mac电脑），我想Windows任务栏或某些Linux命令中可能有类似的东西。然后，在本地机器的终端上运行_host=remote_ama运行Llama 2，然后你就可以在位于世界各地某个位置的olama机器上运行Llama 2了，一切运行正常。当你要停止实例时，访问brev dodev，并点击删除按钮即可。

或许你会想，为什么我将环境变量放在了运行olama客户端的命令行中？也许，我在用olama帮助编码时，我希望环境变量以正确的方式对服务生效，但是如果服务出现问题，我不希望CLI客户端遭受影响，我只希望CLI客户端生效，而保持VSS code和本地服务正常工作。

🌟 Brev：一个易于使用的云GPU提供商

以上所说的方案中，Brev 是一个非常好用的云GPU提供商。它让我们能够轻松地找到地球上任何地方的GPU实例。它的启动时间非常快，价格也相对比较合理。相比于其他云服务提供商，Brev提供了非常简单易用的接口。

⚡️ 如何在Brev上启动云实例

首先，我们需要登录到Brev的dodev账户，然后点击创建实例按钮。选择合适的GPU类型（T4是一个不错的选择），然后选择定价方式（竞价或按需）。设置一个名字，然后点击部署即可。通常情况下，实例将在一分钟内启动。

🎯 如何通过Tail Scale连接远程服务

要通过Tail Scale连接上Brev的远程服务，我们需要在Tail Scale中添加设备，并运行提供的shell脚本。然后，在远程主机上运行sudo tail scale up命令，将该主机添加到网络中。接下来，我们需要在远程的AMA服务器上添加一个环境变量，启用远程机器的访问。最后，在本地机器的终端上运行命令，连接到远程机器。这样，我们就可以在世界某地的olama机器上运行Llama 2了。

🌐 构建手机端WEB界面

如果你想要一个可以在手机上运行的WEB界面，可以在你的常用机器上搭建它。你可以与朋友们共享这个强大的机器，互相使用。这里有一个非常简单而又安全的方法，就是使用Tail Scale创建一个VPN连接。

你可以使用Tail Scale来建立一个安全的VPN，非常简单，而且设置非常快速。对于三个用户以下的使用者，它是免费的，可以使用自定义域名。我想我们大多数人甚至没有100个设备。除此之外，每个活动用户每月只需要支付约6美元的费用。你肯定会说，我从Tail Scale那里得到了什么好处，其实我没有。它只是一个非常酷的服务。

🤝 与朋友共享强大的计算机

你可能与朋友分享了一个强大的计算机，并且你们可以相互共享使用。设置远程网络可能并不容易，但是Tail Scale使得这种情况以及许多其他情况变得非常容易。

🔥 Brev的其他功能

Brev的主打产品是为Collab Notebooks提供后端实例支持。他们希望让你能够拥有速度快、性能强大的机器，以便使用Jupyter进行工作。当你启动一个新实例时，它会花费一些时间来准备一个新的容器，以便你可以直接进入一个新的或已有的Notebook。

他们在Brev dodev的网站上提供了很多关于AI、机器学习和其他主题的资源，你一定要看看Harper Carol的视频，她在视频中展示了精细调整。这真的是太神奇了，这也是为什么我非常喜欢Brev和Llama，因为它们让一些看似困难的事情变得非常容易。

📚 Brev的Collab Notebooks

Brev为Collab Notebooks提供了非常多资源，可以帮助你学习各种人工智能和机器学习的知识。他们希望你能够通过他们的Notebooks和实例来掌握这些知识。

❓ 常见问题解答

Q: 如何在Brev上创建实例？ A: 首先，在Brev的dodev账户登录后，点击创建实例按钮。选择合适的GPU类型和定价方式，设置一个名字，然后点击部署即可。
Q: 如何使用Tail Scale连接远程服务？ A: 首先，在Tail Scale中添加设备，运行提供的shell脚本，将机器添加到网络中。然后，在远程AMA服务器上设置环境变量，允许访问远程机器。最后，使用本地机器上的命令连接到远程机器。
Q: 如何搭建手机端的WEB界面？ A: 你可以在你的常用机器上搭建WEB界面，并使用Tail Scale进行连接和共享。
Q: Brev还有其他有什么功能？ A: Brev也提供了Collab Notebooks的服务，为你提供了各种资源来学习AI和机器学习。
Q: Brev的实例价格如何？ A: Brev的实例价格相对较低，如果你每天使用模型的时间不是很长，价格是可接受的。