英伟达开源Nemotron-4 340B系列模型,用于训练LLM
2024-07-22
6245
近日,英伟达开源Nemotron-4 340B(3400亿参数)系列模型。开发人员可使用该系列模型生成合成数据,用于训练大型语言模型(LLM),用于医疗保健、金融、制造、零售和其他行业的商业应用。Nemotron-4 340B包括基础模型Base、指令模型Instruct和奖励模型Reward。英伟达使用了9万亿个token(文本单位)进行训练。Nemotron-4 340B-Base在常识推理任务,如ARC-c、MMLU和BBH基准测试中,可以和Llama-3 70B、Mixtral 8x22B和Qwen-2 72B模型媲美。(英伟达网站,每经网)
声明:本网所登载内容出于更直观传递信息之目的。该内容版权归原作者所有,并不代表本网赞同其观点和对其真实性负责。若有来源错误或者侵犯您的合法权益,请及时通过邮箱rwzbs@126.com与我们联系,我们会及时反馈并进行处理。
本页链接:http://todaychina.zgshjdw.com/show/news-33800.html