模型类
stanford_alpaca : 用于训练斯坦福大学Alpaca模型的代码和文档，以及生成数据
https://github.com/tatsu-lab/stanford_alpaca
提供了代码和文档来训练Stanford的Alpaca模型，以及生成数据
基于transformers框架开发，支持多种预训练模型
使用PROMPT_DICT来定义不同任务的指令模板
使用smart_tokenizer_and_embedding_resize函数来调整词表和嵌入层的大小
llama.cpp : 将Facebook的LLaMA模型移植到C/C++
https://github.com/ggerganov/llama.cpp
llama.cpp是一个基于Meta的LLaMA模型（Large Language Model）的纯C/C++版本，用于模型推理。LLaMA模型是一个GPT-3级别的语言模型，可以在单个GPU上运行，并且可以在普通的笔记本电脑、手机和树莓派上运行。llama.cpp的量化实现基于作者的另外一个库——ggml，使用C/C++实现的机器学习模型中的tensor。
mlc-llm : 让每个人都可以在自己的设备上本地开发、优化和部署AI模型
https://github.com/mlc-ai/mlc-llm
mlc-llm是一个通用的解决方案，可以让任何语言模型在不同的硬件后端和原生应用上进行本地部署，同时提供了一个高效的框架，让每个人都可以根据自己的需求进一步优化模型性能。mlc-llm的目标是让每个人都能开发、优化和部署AI模型到每个人的设备上。
mlc-llm支持的平台包括：iPhone和Intel/ARM MacBooks上的Metal GPU；Windows和Linux上的AMD和NVIDIA GPU通过Vulkan；Windows和Linux上的NVIDIA GPU通过CUDA；浏览器上的WebGPU（通过伴生项目WebLLM）。
mlc-llm提供了一个可重复、系统化和可定制的工作流，让开发者和AI系统研究者能够用以生产力为中心、以Python为主的方式实现模型和优化。这种方法可以快速实验新的模型、新的想法和新的编译器通道，然后本地部署到目标设备上。
web-llm ： 将大型语言模型和聊天功能带到Web浏览器中。一切都在浏览器内部运行，不需要服务器支持
https://github.com/mlc-ai/web-llm
web-llm是一个将大型语言模型和基于LLM的聊天机器人引入Web浏览器的项目。这个项目可以让每个人都能在浏览器上享受GPU加速的AI助手，并保护隐私。web-llm使用了WebGPU API，在浏览器内运行vicuna-7b-delta-v0模型。web-llm采用了机器学习编译（MLC）的关键技术，建立在开源生态系统的基础上，包括Hugging Face、来自LLaMA和Vicuna的模型变体、wasm和WebGPU；主要流程则建立在Apache TVM Unity之上。
alpaca-lora ：在消费级硬件上对LLaMA进行指导调整
https://github.com/tloen/alpaca-lora
alpaca-lora是一个使用low-rank adaptation (LoRA)技术对Alpaca模型进行轻量化的项目。Alpaca模型是一个基于LLaMA 7B模型的聊天机器人，使用了Instruct数据集进行微调。LoRA技术是一种在冻结原模型参数的情况下，通过添加额外的低秩层并只训练这些层的参数来实现模型适应的方法 。
alpaca-lora的优点是可以在低成本和低资源的情况下，获得与Alpaca模型相当的效果，并且可以在MacBook、Google Colab、Raspberry Pi等设备上运行。alpaca-lora使用了Hugging Face的PEFT和bitsandbytes来加速微调过程，并提供了一个脚本来下载和推理基础模型和LoRA模型。
Chinese-LLaMA-Alpaca : 中文LLaMA&Alpaca大语言模型+本地CPU/GPU部署 (Chinese LLaMA & Alpaca LLMs)
https://github.com/ymcui/Chinese-LLaMA-Alpaca
- 开源了经过中文文本数据预训练的中文LLaMA大模型
- 开源了进一步经过指令精调的中文Alpaca大模型
- 无缝衔接知名LLaMA量化和部署工具 llama.cpp
- 提供了多种模型合并、转换、量化、推理、部署的方法和脚本
- 提供了预训练脚本、评测样例、技术文档等资源
LMFlow : 一个可扩展的工具包，用于对大型基础模型进行微调和推理。适用于所有大型模型
https://github.com/OptimalScale/LMFlow
LMFlow是一个用于微调和推理大型基础模型的可扩展、方便和高效的工具箱，旨在为用户提供友好、快速和可靠的体验，让大型模型为所有人所用。它支持多种语言、多种模型结构、多种微调算法和多种任务类型。它还提供了在线服务、Colab示例和模型库等功能。
自动化工具类
AutoGPT : 一项试验性的开源尝试，旨在使GPT-4实现完全自主
https://github.com/Significant-Gravitas/Auto-GPT
Auto-GPT是一个实验性的开源应用程序，展示了GPT-4语言模型的能力。这个程序由GPT-4驱动，可以将LLM（Large Language Model）的“思想”链接起来，自动实现您设定的任何目标。作为GPT-4运行完全自主的第一个例子之一，Auto-GPT拓展了人工智能的可能性。
网友评论