llama.cpp

Posts

• 

  在本地部署AI服务(AI chat) VIP

  2024年5月17日

  ai ai model chat gemma llama llama.cpp llm local ai ollama open-webui

  可断网离线使用。用于学习，协助学习提问聊天。电脑要求，最好有nvidia显卡,并且需要安装nvidia的cuda驱动和扩展库来支持AI计算。没有显卡只有GPU也没问题，只是响应速度会慢。 安装运行服务需要一定的开发环境，比如docke