由于需要做一個關于搜索的項目,數(shù)據(jù)來源于爬蟲爬取的文本數(shù)據(jù),那么就設計到一些業(yè)務問題的考慮。首先是爬蟲的技術選型,考慮到海量的數(shù)據(jù),首先考慮的是Python的Scrapy框架...
IP屬地:湖北
由于需要做一個關于搜索的項目,數(shù)據(jù)來源于爬蟲爬取的文本數(shù)據(jù),那么就設計到一些業(yè)務問題的考慮。首先是爬蟲的技術選型,考慮到海量的數(shù)據(jù),首先考慮的是Python的Scrapy框架...