HTML5 前端存储

Cookie, LocalStorage 与 SessionStorage

基本概念

Cookie，指某些网站为了辨别用户身份而储存在用户本地终端（Client Side）上的数据（通常经过加密）。

html5 中的 Web Storage 包括了两种存储方式：sessionStorage和localStorage。

sessionStorage 用于本地存储一个会话（session）中的数据，这些数据只有在同一个会话中的页面才能访问并且当会话结束后数据也随之销毁。因此 sessionStorage 不是一种持久化的本地存储，仅仅是会话级别的存储。

而 localStorage 用于持久化的本地存储，除非主动删除数据，否则数据是永远不会过期的。浏览器中同一个域下的窗口可以共享 localStorage 数据。

more >>

展开全文 >>

换了一个 Blog 主题

yilia

前几天deploy博客的时候，发现打开blog页面是空的，只有head部分显示出来了。打开控制台排查问题，发现hexo主题里面有几个外部ajax call失败，导致整个页面都没有渲染出来，这是一件恼火的事情。我是一只生气的图片

于是果断换主题，其实对之前的主题还是很满意的： 简洁，渲染速度也很快，功能虽然不多，但是基本满足我的需求。

这次选择的主题是腾讯的工程师Litten制作的 「yilia」

「yilia」 同样是我喜欢的简洁样式，作者甚至移除了搜索框。而且对于移动端的优化也做得很不错。

more >>

展开全文 >>

JavaScript 异步解决方案 async/await

简介

异步操作一直都是 JavaScript 中一个比较麻烦的事情，从最早的 callback hell，到TJ大神的 co，再到 Promise 对象，然后ES6中的 Generator 函数，每次都有所改进，但都不是那么彻底，而且理解起来总是很复杂。

直到 async/await 出现，让写异步的人根本不用关心它是不是异步，可以说是目前最好的 JavaScript 异步解决方案。

more >>

展开全文 >>

Python 协程

背景

第一次听同学提到协程 Coroutine，说是一个类似于多线程而又不是多线程的东西，听得云里雾里，不觉明厉。后来找了个机会好好看了一下相关的知识，发现协程是一个很有趣的东西。

Wiki百科给协程的定义是：“与子例程一样，协程也是一种程序组件。。。协程更适合于用来实现彼此熟悉的程序组件，如合作式多任务，迭代器，无限列表和管道。”

那什么是子程序呢？Wiki百科给出的定义是：“在计算机科学中，子程序（英语：Subroutine, procedure, function, routine, method, subprogram, callable unit），是一个大型程序中的某部分代码，由一个或多个语句块组成。它负责完成某项特定任务，而且相较于其他代码，具备相对的独立性。”

more >>

展开全文 >>

如何判断页面编码

W3C

在编写微博爬虫的时候，稍微学习了一下网页编码的知识，主要来自于 W3C 官方文档的 5.2.2 小节。

To sum up, conforming user agents must observe the following priorities when determining a document’s character encoding (from highest priority to lowest):

  1. An HTTP “charset” parameter in a “Content-Type” field.
  2. A META declaration with “http-equiv” set to “Content-Type” and a value set for “charset”.
  3. The charset attribute set on an element that designates an external resource.

首先看 http 头信息中的 Content-Type 字段，如果没有的话，会查看 Meta 信息，如果还没有的话，会查看一些外部资源的信息，比如css或者JavaScript的charset字段。
如果以上信息依然不能确定编码的话，就采用默认的 ISO-8859-1 字符集去解析网页。

gb2312 页面解析

在爬取 “珠海市人力资源和社会保障局” 的网站的时候，遇到中文编码 gb2312，使用 iconv-lite 对其进行处理，代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
"use strict";
const request = require('request');
const cheerio = require('cheerio');
const iconv = require('iconv-lite');

let req = request('http://www.zhrsj.gov.cn/xinxi/gzzk/');
req.on('error', (err)=> {
    console.log('error', err);
});
let chunks = [];
req.on('data', (res)=> {
    chunks.push(res);
});
req.on('end', ()=> {
    let decodedBody = iconv.decode(Buffer.concat(chunks), 'gb2312');
    let $ = cheerio.load(decodedBody);
    $("table[width='96%']").find('tr').each((index, e)=> {
        let a = $(e).children();
        console.log(a.eq(1).text());
    });
});

展开全文 >>

微博情绪分析

简介

本项目ITA的一个大数据学习的项目，以下是我的大体思路。

  1. 使用node.js爬虫每天从「新浪微博」上爬取一定数量的微博。主要实现登录，抓取发布微博，抓取关注人和粉丝的功能，暂时把数据存放在MongoDB中。
  2. 对微博进行分词，分词是非常复杂的功能，需要机器学习训练模型，因此采用哈工大开源项目「LTP-Cloud」直接调用现成API。感谢哈工大社会计算与信息检索研究中心 (HIT-SCIR)。
  3. 然后对分词后的词语进行情绪分析，这里使用大连理工大学林鸿飞教授带领全体教研室成员整理而成的「情感词汇本体库」。
  4. 最后使用spark将情绪分析结果进行数据整合。
more >>

展开全文 >>

tag:

<div>精通 JavaScript、Python、Ruby、Java、Lisp等技术<sup>名词拼写</sup>。 擅长各种从入门到放弃。 毕业于世界著名学府——北大<sup>青鸟</sup>。 如果你也有志于成为一名程序员<sup>鼓励师</sup>的话，请联系我。</div>