爬蟲開發(fā)工程師
面議
1年以上
本科
1年以上
本科
- 全勤獎(jiǎng)
- 節(jié)日福利
- 不加班
- 周末雙休
- 百度投資領(lǐng)導(dǎo)好技能培訓(xùn)
2025-08-17 23:14:12
3809人關(guān)注
職位描述
該職位還未進(jìn)行加V認(rèn)證，請(qǐng)仔細(xì)了解后再進(jìn)行投遞！
職位描述：
1. 負(fù)責(zé)當(dāng)前采集系統(tǒng)，采集器的維護(hù)，并跟據(jù)需求進(jìn)行功能擴(kuò)展升級(jí)
2. 負(fù)責(zé)新的數(shù)據(jù)源采集器的設(shè)計(jì)，編碼，實(shí)現(xiàn)工作
3. 負(fù)責(zé)數(shù)據(jù)的采集，清洗，結(jié)構(gòu)化，標(biāo)簽化，數(shù)據(jù)預(yù)處理，入庫(kù)以及部分后臺(tái)數(shù)據(jù)服務(wù)器的開發(fā)工作
4. 優(yōu)化采集策略和防屏蔽規(guī)則，提升各類網(wǎng)頁(yè)采集效率和質(zhì)量
5. 采集端數(shù)據(jù)源采集規(guī)則管理，跟蹤，監(jiān)控，報(bào)警6. 與數(shù)據(jù)分析師，數(shù)據(jù)管理員協(xié)作，完成日常對(duì)數(shù)據(jù)的統(tǒng)計(jì)，查詢，分析
工作任職要求
1. 全日制統(tǒng)招本科以上學(xué)歷，計(jì)算機(jī)軟件相關(guān)專業(yè)，2年以上產(chǎn)品級(jí)采集相關(guān)工作經(jīng)驗(yàn)
2. 熟悉http協(xié)議，網(wǎng)頁(yè)采集基本原理，熟悉正則表達(dá)式，xpath/css selector/ajax等基本技術(shù)
3. 熟練使用常用的數(shù)據(jù)結(jié)構(gòu)與算法
4. 熟悉python/js語(yǔ)言; 熟練使用scrapy，有nodejs/express/casperjs相關(guān)開發(fā)經(jīng)驗(yàn)者優(yōu)先
5. 熟悉mysql/redis,有elasticsearch經(jīng)驗(yàn)者優(yōu)先6. 熟練使用linux操作系統(tǒng)，有l(wèi)inux，數(shù)據(jù)庫(kù)系統(tǒng)管理經(jīng)驗(yàn)者優(yōu)先
微信分享
1. 負(fù)責(zé)當(dāng)前采集系統(tǒng)，采集器的維護(hù)，并跟據(jù)需求進(jìn)行功能擴(kuò)展升級(jí)
2. 負(fù)責(zé)新的數(shù)據(jù)源采集器的設(shè)計(jì)，編碼，實(shí)現(xiàn)工作
3. 負(fù)責(zé)數(shù)據(jù)的采集，清洗，結(jié)構(gòu)化，標(biāo)簽化，數(shù)據(jù)預(yù)處理，入庫(kù)以及部分后臺(tái)數(shù)據(jù)服務(wù)器的開發(fā)工作
4. 優(yōu)化采集策略和防屏蔽規(guī)則，提升各類網(wǎng)頁(yè)采集效率和質(zhì)量
5. 采集端數(shù)據(jù)源采集規(guī)則管理，跟蹤，監(jiān)控，報(bào)警6. 與數(shù)據(jù)分析師，數(shù)據(jù)管理員協(xié)作，完成日常對(duì)數(shù)據(jù)的統(tǒng)計(jì)，查詢，分析
工作任職要求
1. 全日制統(tǒng)招本科以上學(xué)歷，計(jì)算機(jī)軟件相關(guān)專業(yè)，2年以上產(chǎn)品級(jí)采集相關(guān)工作經(jīng)驗(yàn)
2. 熟悉http協(xié)議，網(wǎng)頁(yè)采集基本原理，熟悉正則表達(dá)式，xpath/css selector/ajax等基本技術(shù)
3. 熟練使用常用的數(shù)據(jù)結(jié)構(gòu)與算法
4. 熟悉python/js語(yǔ)言; 熟練使用scrapy，有nodejs/express/casperjs相關(guān)開發(fā)經(jīng)驗(yàn)者優(yōu)先
5. 熟悉mysql/redis,有elasticsearch經(jīng)驗(yàn)者優(yōu)先6. 熟練使用linux操作系統(tǒng)，有l(wèi)inux，數(shù)據(jù)庫(kù)系統(tǒng)管理經(jīng)驗(yàn)者優(yōu)先
微信分享
注：聯(lián)系我時(shí)，請(qǐng)說是在涪陵人才網(wǎng)上看到的。
工作地點(diǎn)
地址：重慶江北區(qū)重慶-渝北區(qū)
求職提示：用人單位發(fā)布虛假招聘信息，或以任何名義向求職者收取財(cái)物（如體檢費(fèi)、置裝費(fèi)、押金、服裝費(fèi)、培訓(xùn)費(fèi)、身份證、畢業(yè)證等），均涉嫌違法，請(qǐng)求職者務(wù)必提高警惕。
職位發(fā)布者
HR
北京蛋黃科技有限公司
-
媒體·出版·文化傳播
-
21-50人
-
公司性質(zhì)未知
-
新南路華融現(xiàn)代廣場(chǎng)3棟20-6
