独立开发者

项目名称：FreeChat

概述

FreeChat是一款在Mac上运行的本地LLM（大型语言模型）聊天工具，它允许用户在不安装任何其他软件的情况下与LLM进行对话。所有对话都保存在本地，并且完全离线进行。

功能特点

• 自定义角色和专业知识，通过改变系统提示来实现

• 支持任何与llama.cpp兼容的模型

• 不需要互联网连接，所有功能都在本地完成（也可以选择连接到远程模型）

安装

• 加入TestFlight beta：点击这里

• 在Mac App Store下载：点击这里

• 或者通过Xcode的"Archive"功能从源代码构建

目标

FreeChat的主要目标是让更多人能够轻松访问开放、本地、私密的模型。

FreeChat是一个完全本地运行的macOS LLM设备。用户可以下载后直接向LLM提问，无需任何配置。它是一个无需登录或追踪的本地/llama版本的OpenAI聊天工具。用户应该能够从Mac App Store安装并立即使用。

• 无需配置，适合那些没有听说过模型、提示或LLM的人使用。

• 性能和简单性优于开发体验或功能。笔记不是Word，Swift不是Elektron。

• 本地优先。核心功能不应需要互联网连接。

• 不追踪对话。使用FreeChat，就像使用Notes一样，可以随心所欲地交谈。

• 开源。如果无法审核AI是否真的在本地运行，那么运行本地AI有什么意义呢？

升级模型

一旦你开始使用FreeChat，尝试不同的模型会很有趣。AI训练社区基本上每天都在发布新模型。FreeChat兼容任何gguf格式的模型，这些模型与llama.cpp兼容。

模型通常以其参数数量命名（例如7B），并应用不同程度的有损压缩（量化）。一般的经验法则是，参数更多的模型往往更慢、更聪明，而更多的量化会使其变得更笨。

要寻找模型，可以尝试Hugging Face。大多数模型都有一个作者链接的“模型卡”，讨论其训练和能力。

开发设置

1. 打开mac/FreeChat.xcodeproj

2. 运行并修复错误

路线图/待办事项（大致按顺序）：

• 无需安装任何其他软件即可与Llama 3聊天

• 尝试任何与llama.cpp兼容的模型

• 更改系统提示以修改角色或专业知识

• 从应用内下载模型（将应用从3GB缩小到10mb，对更新更好）

• 高级设置（提示格式、温度、重复惩罚）

• 角色 - 保存系统提示/模型设置以便以后使用，并在创建新对话时更改角色

• 搜索对话