老狗啃爬虫-爬虫学习总结（示例源码）
source link: http://www.veiking.cn/blog/1062-page.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
老狗啃爬虫-爬虫学习总结（示例源码）_老狗啃骨头_Veiking百草园-知识点滴,日常分享
爬虫技术也不是局限于某种编程语言的应用技术，语种上没有优劣之分，有时候我们遇到问题，除了参考网上的案例，去读源码，去了解程序逻辑的具体意图，很多时候也要考虑跨语言跨领域去借鉴一些优秀的解决方法。所以，爬虫技术完全是发散性的，可能涉及的东西非常多，保持一颗好奇心是非常重要的
通过前面爬虫框架webmagic的学习和使用，我们对爬虫的整个工作流程，也有了比较深刻的认识，很多时候，在我们设计具体方案的时候，这些框架啊插件啊，可用可不用，记住他的精髓，实现目的才是最好的。
爬虫技术也不是局限于某种编程语言的应用技术，语种上没有优劣之分，有时候我们遇到问题，除了参考网上的案例，去读源码，去了解程序逻辑的具体意图，很多时候也要考虑跨语言跨领域去借鉴一些优秀的解决方法。所以，爬虫技术完全是发散性的，可能涉及的东西非常多，保持一颗好奇心是非常重要的。
好了，关于爬虫的学习我们先告一段落，下面是整理好的程序源码，我们分别打包，方便感兴趣的小伙伴取用。
分章节源码：
PageProcessor相关
老狗啃爬虫-小爬虫初长成之PageProcessor
Pipeline相关
老狗啃爬虫-从抓取到存储之Pipeline
老狗啃爬虫-图片下载之Pipeline
Scheduler相关
老狗啃爬虫-去重自定义之Scheduler
老狗啃爬虫-增量爬取之Scheduler
Selenium相关
老狗啃爬虫-动态页面爬取之Selenium
老狗啃爬虫-模拟用户登录之Selenium
老狗啃爬虫-Cookies的使用之Selenium
Recommend
-
7
在爬虫框架WebMagic中，用于保存结果的组件叫做Pipeline。在WebMagic已经实现了的Pipeline接口中，如果我们仅仅是想把抓取数据进行控制台输出，我们可以借助它的ConsolePipeline；如果我们想将数据以文件的形式进行存储，即可借助它的...
-
17
之前讲了很多关于webmagic的爬虫实现方法，都是基于静态网页的，我们只需考虑根据链接下载页面，然后解析html提取目标数据即可。然而，很多网站的页面数据是动态的，那么简单的下载解析将毫无意义，这时候我们就得借助额外的技术方案...
-
6
老狗啃骨头之算法-排序算法总结_老狗啃骨头_Veiking百草园-知识点滴,日常分享 关于排序的算法，还有很多种。还有一些排序算法的思想，在不同的使用场景下再结合其它的算法逻辑，又可以衍生出新的算法设计。比...
-
8
网络爬虫是一个比较成熟的技术应用，目前，从技术角度说，市面上的爬虫框架有很多种选择，不同种开发语言又有许多不同的种类，这就让不少人在开发预研的时候陷入选择上的迷茫，接下来我们收集了一下市面上主流的开发语言中对一...
-
6
老狗啃爬虫-开发准备之Maven动员_老狗啃骨头_Veiking百草园-知识点滴,日常分享 本次关于爬虫框架WebMagic的开发学习，将基于java语言的Spring框架，Spring框架是java语言诸多优秀框架里脱颖而出的一个功能完...
-
10
WebMagic是一个简单灵活的Java爬虫框架。其简单的API，容易上手，模块化的结构，便于轻松扩展；同时也功能完备，且提供多线程和分布式支持。基于WebMagic，我们可以快速开发出一个高效、易维护的爬虫。WebMagic框架主要由Downloader、...
-
4
爬虫爬取内容，本质就是把网站页面下载、读取过来，然后其核心工作就是解析定位，提取数据。这里说的Jsoup、Xsoup、CSS选择器、Xpath、JsonPath，包括正则表达式的应用，都是数据处理过程中必不可少的基础性技术。我们使用的爬虫框架W...
-
7
老狗啃爬虫-便捷的元素定位之Selectable 老狗啃骨头 @V...
-
5
老狗啃爬虫-Cookies的使用之Selenium 老狗啃骨头 @Veik...
-
4
老狗啃爬虫-URL去重之Scheduler_老狗啃骨头_Veiking百草园-知识点滴,日常分享 读过源代码，再回顾我们之前所学所述，WebMagic的工作机制，以及之后我们如何设计具体的爬虫程序，思路会更加明了清晰。我们知道...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK