第一课

一. hyperopt

# 定义一个目标函数(去最小化)
def objective(args):
    case, val = args
    if case == 'case 1':
        return val
    else:
        return val ** 2

# 定义超参数的寻找范围
from hyperopt import hp
space = hp.choice('a',
    [
        ('case 1', 1 + hp.lognormal('c1', 0, 1)),
        ('case 2', hp.uniform('c2', -10, 10))
    ])

# 在某个space内, 用tpe.suggest算法, 最多迭代100次, 寻找objective函数的最小值
from hyperopt import fmin, tpe, space_eval
best = fmin(objective, space, algo=tpe.suggest, max_evals=1000)

print(best)
# -> {'a': 1, 'c2': 0.01420615366247227}
print(space_eval(space, best))
# -> ('case 2', 0.01420615366247227}

#    原本例子里迭代100次, 改成1000次后的结果, 更接近0了
#    {'a': 1, 'c2': 0.0014051587902801626}
#    ('case 2', 0.0014051587902801626)

二. Quora Question Pair

2.1 探索

import pandas as pd
df = pd.read_csv('/home/lyq/Downloads/quora_train.csv')

# 训练集行数
df.shape[0]

404290行

# 正负样本数 
vc = df['is_duplicate'].value_counts()
vc

0 255027 
1 149263 
Name: is_duplicate, dtype: int64

不重复的255027个
重复的149263个

# 正负样本的比例
vc/vc.sum()

0 0.630802
1 0.369198
Name: is_duplicate, dtype: float64

不重复的63%,重复的37%

# distinct问题数
import numpy as np
qs = np.append(df['qid1'],df['qid2'])
len(np.unique(qs))

537933

404290对样本中共包含537933个不重复的问题

# 多次出现的问题数
unique_elements, counts_elements = np.unique(qs, return_counts=True)
sum(counts_elements>1)

111780

404290对样本中111780个问题重复出现

# 出现几次的问题有多少个
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
plt.hist(counts_elements, bins=50)
plt.yscale('log', nonposy='clip')

频率直方图

2.2 特征

A. 词嵌入

把one-hot表示的词向量用不同方法降维， 变成稠密的表示。调用gensim包实现。向量化之后用各种距离（余弦距离，jaccard距离，hamming距离，dice距离等）即可计算相似度。

2.2.1 LSI 矩阵分解

利用SVD做矩阵分解，保留num_topics个最大的奇异值，对应num_topics个主题。 不同主题中每个词的权重不同，不同样本（文档）中每个主题的权重不同。

2.2.2 LDA（Latent Dirichlet Allocation）

同样是求解每个样本的主题分布， 每个主题的词分布。但是建模基于贝叶斯网络，概率分布， 和LSI比权重都是正数。

2.2.3 Word2vec

用三层神经网络模型预测上下文。已经上下文单词预测中间的一个（CBOW）或者已经中心词预测上下文词（skip-gram）

2.2.4 Glove（Global vectors for word representation）

哪些词经常同时出现，说明他们的含义接近。比word2vec覆盖的范围更广，word2vec只能覆盖上下文的几个词。

B. NER命名实体识别

找出问题中重要的实体，比如名人名字，机构名字等等

2.2.5 题目中的重要实体

问题中包含哪个人/行业/学科.......

C. POS-tag词性标注

2.2.6 问题中是否包含动词

如何做一件xx事？
xxx为什么是xx？
如何评价xxx？
几种问题的形式有很大区别

2.2.7 问题中包含的疑问词是哪个

what why when who where how

2.2.8 问题中是否包含数字

D. 其他补充

2.2.9编辑距离

每增删一个字母+1，看变更多少次可以把两个问题变成一样的

2.2.10特征组合

比如：问题中包含的疑问词是哪个&是否包含数字。总共6*2=12种取值