Node 服务端接口 & 爬虫

本来想用 Node 写爬虫和服务端接口的, 不过感觉 cheerio 的 CSS selector 用起来特别不爽, 而 Python 的 Scrapy 库, 写爬虫特别好用, 遂用 Python 写了 V2EX 的爬虫 V2EX_Crawler

Node 爬虫不错的教程 Scraping the Web With Node.js Simple web scraping with Node.js / JavaScript MongoDB For Beginners: Introduction And Installation (Part 1/3)

Api

由于完全没有接触过服务端, 学起来还是一脸懵逼的... 找了一门稍微熟悉一点的语言 JS, 来写服务端吐槽下前端这两年一直在搞事情, 弄出来不少幺蛾子... 学的我屁股都大了...
- Vue, React
- ES6
- Webpack
当年整过的一些 SQL 各种 join 查询忘得也差不多了.. 遂折腾下 NOSql - MongoDB, 听说了一段时间了, 但始终没有尝试过
学习写接口主要是下面 2 个教程, 先看了第一个.. 对服务端涉及的知识点有个大概了解, 然后通读并写了写第二本书的代码, 第二本书很棒棒哦, 非常全面, 深度对我这 Node 新手来说也刚好, 感谢作者把它开源 ~
- 学起来倒也没有坎, 路由之前做 iOS 的模块化时接触过 JLRoutes, 所以看 express 的 router 很熟悉
- MongoDB 对新手也很友好, 上手很快, 文档式的存储结构写小项目很方便, 用起来和 ORM 差不多, 666

极力推荐的教程《Node.js 包教不包会》 by alsotang Practical Node.js, 1st and 2nd Editions [Apress]

RESTFul

我写的 Api 比较简单, 就是查数据库, 吐 JSON, 每接触到分布式, 多线程, Session, 各种缓存啥的

接口是 RESTFul 风格的.. 这个是一个很成熟的规范了.. 以为能找到一个好用的框架, 直接结合 mongoose 帮我实现默认的 RESTFul 接口呢, 不过没找到合适的, 但手写也非常简单...

GraphQL

无聊用 Charles 抓了下手机版的 Lynda, 一个类似网易云课堂的在线课程网站, 发现他的各种接口请求贼奇怪, 传了很多像数据库字段的东西
后来想到, 之前看过 Github v4 API 出了新格式之类的东西, 看了半天没懂, 一查果然是这个东西
GraphQL 国外已经在用了, 我还没写过 Demo, 不过大概了解了一下思路

例子 : 比如微信用户数据库, 存储用户的各种详细信息

接口 1 : 加好友, 要用户的基本数据, 名字, 头像, 性别等
接口 2 : 用户点击好友, 查看好友全部详细资料, 年龄, 地区, 相册等,

这就需要服务端提供 2 个接口, 接口1 返回用户的部分字段, 接口2 返回用户的全部字段

GraphQL 实现 : 相当于客户端传过来一个 SQL 语句, 告诉我查哪个表, 要哪些字段

这么一来, 服务端不管处理什么都一个接口足够了, 客户端告诉我要哪些数据, 我去执行查询就行了, (当然这里肯定有校验, SQL 防注入之类的),
这大大减轻了服务端的压力, 前端, 移动端, 经常需要的数据不同, 所以服务端要维护好多接口, 甚至还要有好多版本 V1,V2 等等
So, 以后有时间一定要实践下 GraphQL

Heroku 部署 Node 工程

Heroku 是非常好用的后端部署平台, 提供各种运行环境, Node, python , PHP 等, 可以直接把代码部署运行在 Heroku 上, 非常方便

我现在的使用方式是 :

代码 commit push 到 github
CI 跑 unit test (根本不写测试代码)
Heroku 关联 github 项目, push 触发 Heroku deploy hook, 自动 pull 并部署代码
完成后 Slack 通知我部署状态

How to Deploy Your Slack Bots to Heroku

学习成果

就是最基本的 MongoDB 实现的 RESTFul API

V2EX_Nodejs : V2EX 最近的文章, 登录, 注销接口类似云课堂的接口 : 这个代码质量还不错... 部署在我的 Vultr VPS 上

不错的文章

RESTful API design with Node.js 10 Best Practices for Writing Node.js REST APIs