【大模型專(zhuān)項(xiàng)】異構(gòu)大模型推理優(yōu)化工程師
30000-60000元
應(yīng)屆畢業(yè)生
本科
應(yīng)屆畢業(yè)生
本科
- 全勤獎(jiǎng)
- 節(jié)日福利
- 不加班
- 周末雙休
2025-09-10 16:38:07
1807人關(guān)注
職位描述
該職位已進(jìn)行加V認(rèn)證，請(qǐng)放心投遞
職位描述：參與內(nèi)部異構(gòu)大模型推理引擎優(yōu)化，支持大模型推理各種優(yōu)化技術(shù)在異構(gòu)硬件上的落地。包括但不限于：
1、參與日常推理引擎的優(yōu)化開(kāi)發(fā)，不斷優(yōu)化大模型業(yè)務(wù)在對(duì)應(yīng)硬件上的TTFT、TPOT等指標(biāo)；關(guān)注業(yè)界最佳實(shí)踐，能將業(yè)界最佳實(shí)踐落地到內(nèi)部的引擎優(yōu)化中；
2、完成各種大模型推理所需的功能性開(kāi)發(fā)任務(wù)；
3、參與支持日常的大模型推理服務(wù)部署，參與內(nèi)部日常提效工具的研發(fā)。
任職要求：1、有扎實(shí)的C 工程基礎(chǔ)；
2、有大模型相關(guān)訓(xùn)練或推理優(yōu)化經(jīng)驗(yàn)；有vLLM、TensorRT-LLM、MLC-LLM 等框架之一的實(shí)踐經(jīng)驗(yàn)；熟悉LLM infer 相關(guān)技術(shù)棧，熟悉TP/PP/DP等分布式通信原理等；
3、熟悉CUDA 或 ROCM，熟悉Nsight System/ Nsight Compute 工具的使用，有 GPU 或 ASIC 高性能算子開(kāi)發(fā)經(jīng)驗(yàn)；
4、了解AI infra 整體技術(shù)棧需求，有訓(xùn)練框架或推理框架實(shí)戰(zhàn)經(jīng)驗(yàn)、熟悉TensorRT、TVM 等框架的使用、有二次開(kāi)發(fā)能力或開(kāi)源社區(qū)貢獻(xiàn)經(jīng)歷更佳。
注：聯(lián)系我時(shí)，請(qǐng)說(shuō)是在涪陵人才網(wǎng)上看到的。
工作地點(diǎn)
地址：北京海淀區(qū)北京-海淀區(qū)上地西路6號(hào)快手總部
求職提示：用人單位發(fā)布虛假招聘信息，或以任何名義向求職者收取財(cái)物（如體檢費(fèi)、置裝費(fèi)、押金、服裝費(fèi)、培訓(xùn)費(fèi)、身份證、畢業(yè)證等），均涉嫌違法，請(qǐng)求職者務(wù)必提高警惕。
職位發(fā)布者
HR
北京快手科技有限公司
-
計(jì)算機(jī)軟件
-
1000人以上
-
私營(yíng)·民營(yíng)企業(yè)
-
北京市海淀區(qū)上地西路6號(hào)1幢1層101 D1-10
相似職位
-
資深業(yè)務(wù)顧問(wèn) - 重慶（家樂(lè)） 7元以上涪陵區(qū) 1年以上 本科聯(lián)合利華服務(wù)(合肥)有限公司上海分公司
-
彩超 面議涪陵區(qū) 應(yīng)屆畢業(yè)生 不限重慶涪陵桂林骨科醫(yī)院
-
檢驗(yàn)科 面議涪陵區(qū) 應(yīng)屆畢業(yè)生 大專(zhuān)重慶涪陵桂林骨科醫(yī)院
-
疼痛科 面議涪陵區(qū) 應(yīng)屆畢業(yè)生 大專(zhuān)重慶涪陵桂林骨科醫(yī)院
-
藥房人員 面議涪陵區(qū) 應(yīng)屆畢業(yè)生 不限重慶涪陵桂林骨科醫(yī)院
-
護(hù)理 面議涪陵區(qū) 應(yīng)屆畢業(yè)生 不限重慶涪陵桂林骨科醫(yī)院
