訓練數據,MMLU75%,MT-bench 8.7分。微軟推出的Phi-3系列小型開源語言模型,在多種語言、推理、編程和數學基準測試中展示了前所未有的性能,超越了相同大小及更大型號的其他模型。
- Phi-3模型由于其小型化設計,在資源受限的設備上運行,同時能夠保持高效性能。
適應多種環境:適合部署在智能手機、嵌入式系統等邊緣計算設備上,可以在不依賴云計算的情況下本地處理數據,減少延遲,增強隱私保護。
Phi-3-mini3.8B的參數,3.3T token訓練數據。在多個學術基準測試中,Phi-3-mini性能接近或等同于市場上的大模型,例如在MMLU測試中得分為69%,在MT-bench測試中得分為8.38分,和GPT-3.5和Mixtral 8x7B相當,甚至超過剛發布的Llama 3 8B。
Phi-3-small和Phi-3-medium這兩個是擴展模型:Phi-3-Small是7B參數,4.8T token
Phi-3-Medium是14B參數,4.8T token訓練數據,MMLU78%,MT-bench 8.9分。
Phi-3 Microsoft Blog Phi-3微軟博客
Phi-3 Technical Report Phi-3技術報告
模型下載:
https://huggingface.co/microsoft/Phi-3-mini-128k-instruct