（岗位职责） 1、设计、开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作； 2、优化数据库结构，确保数据的有效性、严谨性、高性能； 3、参与爬虫核心算法和策略优化，熟悉采集系统的调度策略；提升平台的抓取效率； 4、实时监控爬虫的进度和警报反馈，并处理爬虫异常； 5、分析爬虫系统瓶颈设计实现相应策略和算法，提升爬虫的抓取效率和质量。持续进行算法和策略优化，提升爬虫的抓取效率和质量； 6、参与业务蓝图设计、业务需求、系统设计、代码规范等评审工作； 岗位要求： 1、精通API接口对接、高效对接相关业务系统；有数据清洗、数据加工工作经验； 2、有过数据库调优和海量数据存储经验；对数据敏感，精通数据抓取原理及技术，有数据爬取及防爬实战经验； 3、熟练Linux系统及Shell；熟练Python、Java开发语言；熟悉Hadoop、Spark技术； 4、 熟悉Mysql、SQLserver、PostgreSql数据库，熟练搭建数据库服务器及集群服务；熟悉Redis、Memcache、MongoDB等NoSQL缓存技术