简介:
基于Llama3的医疗开源大模型。
OpenBioLLM-70B是专门为生物医学领域设计的高级开源语言模型。该模型由Saama人工智能实验室开发,利用尖端技术在广泛的生物医学任务中实现最先进的性能。
简介
🏥 生物医学专业:OpenBioLLM-70B专为医学和生命科学领域的独特语言和知识需求量身定制。它在大量高质量生物医学数据的基础上进行了微调,使其能够以特定领域的准确性和流畅性理解和生成文本。
🎓 卓越的性能:OpenBioLLM-70B拥有700亿个参数,优于其他类似规模的开源生物医学语言模型。在生物医学基准上,与GPT-4、Gemini、Meditron-70B、Med-PaLM-1和Med-PaLM-2等更大的专有和开源模型相比,它也显示出更好的结果。
🧠 高级训练技术:OpenBioLLM-70B建立在Meta-Lama-3-70B-Directive和Meta-Lama-3-70B-Directed模型的强大基础上。它结合了DPO数据集和微调配方,以及自定义的多样化医疗指导数据集。
微调
根据需要,可以针对更专业的任务和数据集对模型进行微调。
OpenBioLLM-70B代表着生物医学界在高级语言人工智能民主化方面迈出的重要一步。通过利用Llama-3等领先开源工作中最先进的架构和培训技术,团队创建了一个强大的工具来加速医疗保健和生命科学的创新和发现。
团队很高兴能与世界各地的研究人员和开发人员分享OpenBioLLM-70B。
基准测试结果
🔥 在9个不同的生物医学数据集中,OpenBioLLM-70B与较大的模型(如GPT-4、Gemini、Meditron-70B、Med-PaLM-1和Med-PaLM-2)相比表现出了卓越的性能,尽管其参数计数明显较小,但仍以86.06%的平均分取得了最先进的结果。该模型在特定领域任务中的强大性能,如临床KG、医学遗传学和PubMedQA,突出了其有效获取和应用生物医学知识的能力。
🚨 GPT-4、Med-PaLM-1和Med-PaLM-2的结果取自其官方论文。由于Med-PaLM不提供零样本精度,我们使用他们论文中的5速精度进行比较。除了使用5秒精度的Med-PaLM-2和Med-PaLM-1外,所有呈现的结果均在零样本设置中。
热点图看起来更清晰一些:
性能比较柱状图:
主要贡献者:
Ankit Pal (Aaditya Ura)
Saama AI Labs
下载地址:
OpenBioLLM-70B 下载地址:https://hf-mirror.com/aaditya/Llama3-OpenBioLLM-70B
OpenBioLLM-8B 量化模型下载地址:https://hf-mirror.com/aaditya/OpenBioLLM-Llama3-8B-GGUF