发布日期:2024-07-27 04:06 点击次数:154
新智元报谈皇冠体育app下载
裁剪:裁剪部
皇冠现金网网址【新智元导读】GPT-4在斯坦福AlpacaEval的榜首之位,真是被一匹黑马抢过来了。
第一个在AlpacaEval上卓著GPT-4的模子,出现了!
www.crownbookieszonehomehub.com本年6月,AlpacaEval榜单一公布,GPT-4就以足够最初的上风夺得第一,胜率逾越95%。
三个月后,一匹叫Xwin-LM的黑马,真是介意居榜首的GPT-4从TOP 1拉下来了?
式样地址:https://tatsu-lab.github.io/alpaca_eval/
而且,Xwin-LM在同参数模子的对垒中,也毫无例外地拿下了三个第一:
亚洲杯体育彩票竞猜网Xwin-LM-70B-V0.1:在AlpacaEval基准测试中对Davinci-003的胜率达到95.57%,在AlpacaEval中排行第一。亦然第一个在AlpacaEval上卓著GPT-4的模子。此外,它对上GPT-4的胜率为60.61。 Xwin-LM-13B-V0.1:在AlpacaEval上取得了91.76%的胜率,在通盘13B模子中排行第一。 Xwin-LM-7B-V0.1:在AlpacaEval上取得了87.82%的胜率,在通盘7B机型中排行第一。
Xwin-LM:700亿参数打赢GPT-4
皇冠客服飞机:@seo3687Xwin-LM是以Llama 2为基础进行微调的,该模子旨在斥地和开源大言语模子的对都时代,包括监督微调(SFT)、奖励模子(RM)、隔断采样、东谈主类响应强化学习(RLHF)等。
1. 性能评估
沟通东谈主员评估了Xwin-LM在805个问题上与Text-Davinci-003 、ChatGPT和GPT-4的胜率。
不错看到,Xwin-LM的70B模子完全霸榜,成为AlpacaEval缱绻上的性能评估的第一,并初次打败了GPT-4,对GPT-4的胜率达到了60.61%。
Xwin-LM其他鸿沟的模子,如Xwin-LM-13B-V0.1、Xwin-LM-7B-V0.1在性能上也远超调换鸿沟的其他模子。
Xwin-LM-7B-V0.1以致逾越了比它鸿沟更大的Llama 2-13B-Chat。
2. 案例比较
皇冠信用网是什么在第一个案例中,沟通东谈主员向GPT-4和Xwin-LM发问:
「我把一个盘子放在苹果上头,然后把盘子从厨房带到餐厅。苹果当今在那处?」
GPT-4的回答是:
「苹果当今在餐厅,当你把盘子从厨房到端餐厅时,它就在盘子底下。」
在这里GPT-4给出了一个短缺知识的修起,践诺生计中有重力,在盘子下方的苹果保抓正本的情景,并不会和盘子一齐到餐厅。
比较之下,Xwin-LM的回答就比较相宜践诺情况,况且还给出了把苹果带到厨房的门径:
「苹果还在厨房里,因为你仅仅迁徙了盘子。
苹果在盘子底下,是以要是你思把苹果带到餐厅,你应该平直迁徙苹果或把苹果放在盘子里,然后把盘子移到餐厅。」
网络博彩娱乐网站在第二个案例中,沟通东谈主员向GPT-4和Xwin-LM发问:
「如何法语说『晚上好』?」
GPT-4的回答是:
「在法语中,『晚上好』用『bonsoir』抒发。」
而Xwin-LM的回答是:
「在法语中,『晚上好』被翻译为『bonsoir』。这种致意语在晚上和夜间使用,每每鄙人午 6 点之后。
它是『bon』(好奇瞻仰好奇瞻仰是好)和『soir』(好奇瞻仰好奇瞻仰是晚上)的组合。要发音,请说『bone-swahr』」。
固然GPT-4的回答是正确的,但Xwin-LM不仅正确回答了问题,还讲解了法语抒发中「晚上好」的开端和发音,响应给用户的信息愈加丰富。
传言最近影视圈中流传一则八卦,据说某知名演员博彩平台连续输掉赌资,最终不得不借钱度日。再次提醒人们博彩游戏中要保持理性节制。3. NLP任务
水瓶座其实也讨厌孤独,但是不得不说,讨厌归讨厌,实际上聪明伶俐的水瓶座,一旦发现了孤独里面所潜藏的一些生机,或者说看到了孤独的本质里面蕴藏了一些能量的话,那么水瓶座也懂得借助于孤独的表象,然后看穿一些事物的本质,让自己在孤独的过程当中,慢慢得到了精神上的成长,也能够滋养自己的灵魂,让自己变得更加豁达。可以说,欧博真人平台在独来独往的岁月当中,水瓶座是敢于坚持着自己的个人风格,在现实生活当中,他们敢于打破常规,能够拿捏好自己的心态去发展好自己的个性,而且就算在有的时候会多多少少遭受到这样那样的困境,可是水瓶座还是会勇往直前,特别坚定地做好相关的准备工作,也期待着通过自己的努力和成长,然后去收获到属于自己的幸福。
下表是Xwin-LM与其他LLM在NLP基础任务上的比较。
不错看到,Xwin-LM-70B-V0.1模子在通盘任务中的性能都相对较高,在MMLU 5-shot和HellaSwag 10-shot任务中更是发扬出色。
况且,从概括水平上来说,Xwin-LM-70B-V0.1是发扬最佳的。
4. 推明智力
沟通东谈主员提议,为了在使用Xwin-LM进行推理时得回所需的放置,需要严格投诚推理的对话模板。
Xwin-LM采纳Vicuna斥地的指示形貌,并救济多回合对话。
A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: Hi! ASSISTANT: Hello.s>USER: Who are you? ASSISTANT: I am Xwin-LM.s>......
HuggingFace示例
火爆from transformers import AutoTokenizer, AutoModelForCausalLMmodel = AutoModelForCausalLM.from_pretrained(\"Xwin-LM/Xwin-LM-7B-V0.1\")tokenizer = AutoTokenizer.from_pretrained(\"Xwin-LM/Xwin-LM-7B-V0.1\")prompt := \"A chat between a curious user and an artificial intelligence assistant. \"\"The assistant gives helpful, detailed, and polite answers to the user's questions. \"\"USER: Hello, can you help me? \"\"ASSISTANT:\"inputs = tokenizer(prompt, return_tensors=\"pt\")samples = model.generate(**inputs, max_new_tokens=4096, temperature=0.7)output = tokenizer.decode(samples[0][inputs[\"input_ids\"].shape[1]:], skip_special_tokens=True)print(output)# Of course! I'm here to help. Please feel free to ask your question or describe the issue you're having, and I'll do my best to assist you.
VLLM示例
因为Xwin-LM是基于Llama 2微调而来,它还救济使用VLLM进行快速推理。
from vllm import LLM, SamplingParamsprompt := \"A chat between a curious user and an artificial intelligence assistant. \"\"The assistant gives helpful, detailed, and polite answers to the user's questions. \"\"USER: Hello, can you help me? \"\"ASSISTANT:\"sampling_params = SamplingParams(temperature=0.7, max_tokens=4096)llm = LLM(model=\"Xwin-LM/Xwin-LM-7B-V0.1\")outputs = llm.generate([prompt,], sampling_params)for output in outputs:prompt = output.promptgenerated_text = output.outputs[0].textprint(generated_text)
AlpacaEval:易使用、速率快、资本低、历程东谈主类标注考据
看成一款LLM自动评估用具,AlpacaEval把AlpacaFarm和Aviary进行了都集。
一方面使用与AlpacaFarm调换的代码(缓存/随即陈列/超参数),另一方面则使用肖似于Aviary的排序指示。
与此同期,还对Aviary的指示进行了修改,从而减少对较长输出的偏见。
团队暗示,AlpacaEval有着拔群的后果:
- 与东谈主类大宗票的一致性,高于单个东谈主类标注者
- 胜率与东谈主类标注高度不竭(0.94)
- 胜率
模子的输出在每个指示上优于text-davinci-003(即参考文本)的比例。
具体而言,起初从AlpacaEval数据聚合汇集了生机模子在每个指示上的输出对,并将每个输出与调换指示下的参考模子(text-davinci-003)的输出进行配对。
iba龙虎斗随后,把这些输出同期喂给自动评测器,让它去判断哪一个更好(也即是评测器的偏好)。
临了,将数据聚合通盘指示的偏好进行平均,从而得到模子相干于text-davinci-003的胜率。要是两个模子打平,那么就算半个偏好。
皇冠体育下载论文地址:https://arxiv.org/pdf/2305.14387.pdf
- 局限性
固然AlpacaEval为比较模子苦守指示的智力提供了一种有用的门径,但它并不是对模子智力进行全面评估的黄金轨范。
正如AlpacaFarm论文中胪陈的那样,自动标注器的胜率与长度不竭。固然东谈主类标注也会有这种偏差,但刻下还不明晰更长的谜底是否会增多下流任务的效劳。
此外,AlpacaFarm的评估集固然多各类种,但主要由陋劣的指示构成。
临了,AlpacaEval并不评估任何模子的安全性。
参考云尔:
https://huggingface.co/Xwin-LM/Xwin-LM-70B-V0.1