自然，这就需要有开源可商用大语言模型。

以往好多个月至今，来源于Meta的LLaMa受到了认知度最高开源大语言模型之一（但是却是不能商用的），世界各地学者都研发了各种各样新模型，Hugging Face里的最牛开源大语言模型的排行榜还在不断刷新。

排行榜全新冠军是来源于技术性创新研究院TII（Technology Innovation Institute）的Falcon-40B-instruct，它根据排名第三的Falcon-40B调整获得。

前者命令改善的模型，相近ChatGPT，能够聊天和互动问答。后面一种是一个并没有调整完的基本模型，适合于进一步训练或是调整，如同GPT-3.5和GPT-4那般。

Falcon-40B在Apache 2.0批准下给予，这是一个自由开源的软件许可协议书，用户可以自由自在地应用、更新和派发手机软件，适用在经营环境中应用。

因此，Falcon-40B是当前最牛开源可商用大语言模型。

技术性创新研究院TII来源于阿联酋首都阿布扎比，研究所最开始七个专门研究中心的研究方向就会有人工智能技术相关行业。

技术性创新研究院TII

TII 跨AI研究所执行总监、代理商顶尖AI研究者兼大语言模型项目经理Ebtesam Almazrouei博士表示，“根据公布Falcon 40B开源模型，我们研究者、企业及机构带来了在各行各业行业运用Falcon 40B强劲水平的好机会。

作为一个有40B（400亿）主要参数大大的语言模型，它主要表现超出了快650亿参数LLaMA。

有这样主要表现大概缘故只有两个层面，一个是训练基础数据更高一些，另一个是训练方式在逐步完善效果。

Falcon-40B根据一万亿字符（token）训练而成，图中展现了Falcon-40B的训练数据信息组成，绝大多数是通过技术性创新研究院TII建立的数据RefinedWeb，该数据是以在网络上爬取后整而成的，所有人都可以根据ODC-By 1.0来用和调整。

Falcon-40B在亚马逊云科技的Amazon SageMaker上完成训练，采用了384块40GB显存的A100独立显卡，采用的是P4d案例。训练是以2022年12月开始，经过了2个月的时间也。

Falcon-40B的训练全过程采用了改善的并行处理和运行内存管理模式，这也使得能够在大规模硬件配置中进行训练，更有效地解决大型数据和模型。

Falcon-40B与来自DeepMind的Chinchilla和来自谷歌的PaLM-62B性能非常，比较之下训练成本费要低很多。据统计，训练Falcon-40B的运算量是GPT-3的 75%、Chinchilla的40%，占 PaLM-62B 的 80%。

除开400亿参数Falcon 40B，与此同时公布还因70亿参数Falcon 7B。前面一种布署大约需要90GB显存的独立显卡，后面一种能降低应用门坎，必须大约15GB显存的独立显卡。

虽然后面一种15GB显存就能运作，但现在大部分独立显卡或是仅有8GB显存。现阶段较一个新的独立显卡，仅有RTX 4090/RTX 4080及其RTX 3090Ti和RTX 3090能够符合要求，门坎还是非常高。

自然，也可以不用买显卡直接使用。

从6月7日起，2个开源Falcon大语言模型将会在Amazon SageMaker JumpStart中可以用。Amazon SageMaker JumpStar带来了包含Falcon-40B等在内的多种多样预训练模型、内嵌算法和预搭建的解决方案模板，能够帮助大家快速入门机器学习算法。

大家可以在Hugging Face网站在点击布署按键就可以部署到Amazon SageMaker上，可以考虑SageMaker Python SDK、Amazon SageMaker JumpStart及其Cloudformation三种方式里的任意一种。

客户还可以在Amazon SageMaker Studio中轻一点电脑鼠标就能的部署应用Falcon模型，或者利用SageMaker Python SDK以编程方式应用。

Amazon SageMaker是一个代管API结合，用以开发设计、训练、优化和代管机器学习算法（ML）模型，包含大语言模型。很多用户使用SageMaker解决其大语言模型工作负载，比如Stability AI, AI21 Labs和LG AI。

除此之外，Amazon SageMaker Training带来了具备客户自定系统配置和程序代码计算集群。测算工作按运行次数收费，按秒布置任务，这就意味着客户在没有使用服务时不用为GPU网络资源付钱。

Gartner在《2023 云 AI 开发者服务魔力象限》汇报，亚马逊云科技被选为“管理者”，并且在执行力轴上排名最大，许多企业都选择以Amazon SageMaker来训练和逻辑推理机器学习算法模型。

如今，TII已经训练下一代Falcon大语言模型，将于Amazon SageMaker上拓展到3136个A100 GPU（392个ml.p4d案例，每一个案例有8个A100）做训练。