1.負責網頁信息抓取、數據清洗、入庫等研發和優化工作；2.熟練使用多線程和線程池技術，了解異步非阻塞原理。3.了解相關反爬規則及策略，并有相關攻破理論及經驗。4.負責爬蟲系統優化，并能監控爬蟲進度和報警反饋。5.有分布式項目開發經驗優先崗位要求：1、計算機或相關專業本科及以上學歷；2、熟悉java或python語言編程，對數據結構和算法設計有較為深刻的理解；3、熟悉大規模數據挖掘、機器學習、深度學習、分布式計算等相關技術；4、對技術有熱情，動手能力強，參加過各類競賽并取得較好成績優先；5、有高并發情況下的系統設計及實現經驗優先；6、有3年以上互聯網大數據算法、工程化架構經驗優先。

職位類別：

舉報