29
Golang实现简单爬虫框架（1）——项目介绍与环境准备
source link: https://www.tuicool.com/articles/eMrM3yY
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
最近学习Go语言，看了慕课网 Google工程师深度讲解go语言 这门课，现在把课程中的爬虫项目整理出来，同时也作为自己学习的一个总结。本人菜鸟一枚，如有任何问题，欢迎大家指正。
一、环境准备
1、go语言安装
Go安装包下载网址： https://studygolang.com/dl
选择对应的版本下载即可
Windows用户推荐使用 msi 安装，简单方便，而且会自动配置好环境变量
打开Windows中的命令提示符（cmd.exe）执行命令： go version
查看go语言版本
2、环境配置
然后我们需要设置Go语言工作空间gopath目录(Go语言开发的项目路径)
Windows 设置如下，新建一个环境变量名称叫做GOPATH，值为你的工作目录，例如GOPATH=D:Workspace
以上 %GOPATH% 目录约定有三个子目录：
src 存放源代码（比如：.go .c .h .s等）
pkg 编译后生成的文件（比如：.a）
bin 编译后生成的可执行文件
bin和pkg目录可以不创建，go命令会自动创建（如 go install），只需要创建src目录即可。
3、Goland安装与破解
（1）安装
Goland官网： https://www.jetbrains.com/go/
选择对应版本下载安装即可
（2）破解
关于Goland的破解方式网上已经又很多文章，可以参考这篇： https://blog.csdn.net/dodod20...
二、项目介绍
本次爬虫爬取的是 珍爱网 的用户信息数据，爬取步骤为：
- 1.进入珍爱网 城市页面 爬取所有的城市信息
- 2.进入 城市详情页 爬取用户URL地址信息
- 3.进入 用户详情页 爬取所需要的用户信息
爬虫算法如下
在下篇博客中，会实现一个单机版的爬虫项目，敬请关注。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK