始智AI wisemodel.cn開源社區(qū)

始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。wisemodel社區(qū)上線，價格實惠，靈活方便，支持在線微調(diào)訓練模型，及和，并。

當大家都在熱衷于發(fā)布接入了DeepSeek時，一家叫易鑫的汽車金融科技公司開源了一個款叫YiXin-Distill-Qwen-72B的推理模型。它是以Qwen2.5-72B為基座的模型，使用了自家的迭代式蒸餾技術和最近很火的強化學習方法做訓練，整體感受是對數(shù)學、推理方面的任務做了深度優(yōu)化，用一句話概括的話是“小體積，高精度”，看官方的評測結果，綜合性能達到了與DeepSeek-R1相當?shù)乃健?strong>易鑫推理模型已上線始智AI-wisemodel開源社區(qū)，歡迎體驗。

模型地址

https://wisemodel.cn/models/Yixin_Group/YiXin-Distill-Qwen-72B

01.

模型測評

模型哪里強？

YiXin-Distill-Qwen-72B是一個側重于數(shù)學和推理的大模型，參數(shù)規(guī)模僅72B就幾乎達到了公認開源王者DeepSeek-R1在這些方面的能力。

數(shù)學和推理方面很有代表性的基準評測集包括這幾個：AIME2024/2025、GPQA Diamond、MATH-500、MMLU-PRO，可以看到YiXin-Distill-Qwen-72B在以上所有評測集效果都超過了QwQ-32B，在MATH-500、AIME-25、MMLU-PRO均超過DeepSeek-R1，整體平均效果與DeepSeek-R1持平。

02.

部署教程

硬件要求

多卡配置：推薦4卡 RTX 3090/4090（24G）組合，可處理8k級上下文，當然，顯存越大，上下文越長。

部署流程

1、環(huán)境配置：

安裝 Python 3.10、PyTorch 2.1.0 及 CUDA 12.1

2、下載模型，地址：

https://wisemodel.cn/models/Yixin_Group/YiXin-Distill-Qwen-72B

3、安裝sglang推理框架：

pip install --upgrade pip pip install uv uv pip install "sglang[all]>=0.4.4.post1"--find-links

https://flashinfer.ai/whl/cu124/torch2.5/flashinfer-python

4、模型加載

python3 -m sglang.launch_server --model 
YiXin-AILab/YiXin-Distill-Qwen-72B --trust-remote-code --tp 4
 --port 8000

5、測試API

curl http://localhost:8000/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
    "model": "YiXin-AILab/YiXin-Distill-Qwen-72B",
    "messages": [
        {"role": "system", "content": "You are a helpful and harmless assistant.You should think step-by-step."},
        {"role": "user", "content": "8+8=?"}
    ]
}

能夠正?；卮饎t代表服務正常。

6、為了方便測試和使用，可以用Gradio搭建前端，讓交互更友好，首先安裝Gradio：

bash pip3 install gradio

7、創(chuàng)建一個python文件，命名為run.py，用來啟動前端服務：

import gradio as gr 
import openai
client = openai.Client(base_url=f"http://127.0.0.1:8000/v1",   api_key="None")
def predict(message, history):
      history.append({"role": "user",   "content": message})
    stream = client.chat.completions.create(messages=history,   
model="YiXin-AILab/YiXin-Distill-Qwen-72B", stream=True)
    chunks = []
    for chunk in stream:
  chunks.append(chunk.choices[0].delta.content or "")
        yield   "".join(chunks)
chatbot =   gr.Chatbot(type="messages",label='YiXin-Distill-Qwen-72B')
demo = gr.ChatInterface(predict, chatbot=chatbot)
if __name__ == "__main__":
    demo.launch()

8、啟動服務

python3  run.py

9、打開瀏覽器，輸入127.0.0.1:7860即可看到以下頁面：

03.

效果展示

1、邏輯推理題

一個農(nóng)夫需要運兩只雞過河，一次可以運一人+兩只動物，最少需要過幾次河?

這道農(nóng)夫與狼和羊過河的變體題目曾讓很多大模型打臉，YiXin模型回答起來一點問題沒有。

2、物理題

問題1：假設我從月球發(fā)射一道激光到地球，那么地球上的人大概多久能接收到?

問題2：質(zhì)量為M-0.03kg，長為l=0.2m的均勻細棒，在一水平面內(nèi)繞通過棒中心并與棒垂直的光滑固定軸自由轉(zhuǎn)動。細棒上套有兩個可沿棒滑動的小物體，每個質(zhì)量都為 m=0.02kg。開始時，兩小物體分別被固定在m棒中心的兩側且距棒中心各為r=0.05m，此系統(tǒng)以 n1=15 rev/ min 的轉(zhuǎn)速轉(zhuǎn)動。若將小物體松開,設它們在滑動過程中受到的阻力正比于它們相對棒的速度,(已知棒對中心軸的轉(zhuǎn)動慣量為 M^2/12)求: 當兩小物體到達棒端時，系統(tǒng)的角速度是多少?

這是一道清華大學的物理期末考試計算題，反正我是不會，對了下答案，YiXin模型完全正確。

3、數(shù)學題

2024年碩士研究生數(shù)學——已知函數(shù)f(x,y)=x^3+y^3-(x+y)^2+3，設T是曲面z=f(x,y)在點(1,1,1)處的切平面，D為T與坐標平面所圍成的有界區(qū)域在xOy平面上的投影. 求T的方程

2024年碩士研究生數(shù)學考試真題，推理過程有點長，但是答案正確。

4、語文題

你是一個小學數(shù)學科老師，要教小學生異分母分數(shù)加減的單元，提出跟這個單元的概念有關的同理性問題、推論性問題、評論性問題、價值性問題，各5個，請以小學生能懂得且有興趣的語言來說

角色扮演后，寫作能力出色。

本文帶大家部署和使用YiXin最新開源的推理模型YiXin-Distill-Qwen-72B，并對其效果表現(xiàn)做了開箱測試，效果很不錯，值得在企業(yè)應用嘗試。

04.

在線體驗

W isemodel社區(qū)支持直接通過模型鏡像創(chuàng)建在線體驗或者API服務，在 YiXin-Distill-Qwen-72B 模型詳情 頁 點擊“在線部署-部署在線體驗”或者 “在線部署-部署API服務”按鈕。

然后選擇硬件配置，以及根據(jù)自己的需求選擇計費方式。

提交訂單之后，應用已經(jīng)進入啟動中的狀態(tài)，正常情況下大概等待1分鐘左右就正常運營，進行在線體驗或者使用API服務了。

在線體驗

API服務

編輯丨趙雅鑫

----- END -----

wisemodel相關：

系統(tǒng)升級：

大賽報名：

系列模型：

關于wisemodel更多

1

歡迎持續(xù)關注和支持

開源社區(qū)建設需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區(qū)的志愿者計劃和開源共創(chuàng)計劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續(xù)關注wisemodel.cn開源社區(qū)動態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長期需要技術、運營等人才加盟，技術側重在AI infra、后端開發(fā)，熟悉K8S、模型訓練和推理等技術， 以及熟悉開發(fā)者生態(tài)運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領域相關的優(yōu)秀研究成果，鼓勵高校實驗室、大企業(yè)研究團隊、個人等，在wisemodel平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領域最新論文解讀、最新開源成果介紹，也可以是關于AI技術實踐、應用和總結等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會AI大數(shù)據(jù)專委會副秘書長劉道全創(chuàng)立，旨在打造和建設中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高校科研院所、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個人開發(fā)者，以及政府部門、學會協(xié)會、聯(lián)盟、基金會等，還有投資機構、科技媒體等，共同參與建設AI開源創(chuàng)新生態(tài)。

向上滑動查看