前言
承接之前的婴儿是否盖被子识别的项目
对婴儿盖被子的小型CNN识别与tensorflow模型导出：https://www.jianshu.com/p/22b691696d53
将模型导入树莓派实现检测结果的实时输出：
https://www.jianshu.com/p/dd190c5dcbcd
目前已经实现了对于是否盖被子的实时检测，但是从产品角度，这个功能好像还不足够，查阅了一些育儿书籍并访问了一些宝爸宝妈后，发现很多家长苦恼于照顾孩子时，需要时常陪伴在左右，比如婴儿如果突然从睡梦中醒来，发现身边没人而嚎啕大哭；因此导致宝爸宝妈们失去了自己的时间，如果我们的产品能够实时提醒家长婴儿的状态，那么就能很好解决这个痛点。
对于婴儿是否入睡的检测，我们主要是基于对于图像中是否有物体运动的检测，婴儿睡着了的话，摄像头的内容大部分是静止的；而婴儿醒来后，会开始乱动，然后就会被检测到；
我们将主要利用python与opencv，采用帧间差分法实现对画面中是否有婴儿；然后一旦识别到婴儿睡着或醒来，使用itchat这个微信操作接口，实时提醒给家长；最后利用xlwt这个excel库，记录下一整天婴儿的睡眠情况，发送给家长，让家长了解孩子长期的睡眠情况与规律。
帧间差分法
帧间差分法算是一种常用的检测画面是否存在运动物体的方法，它的原理也比较简单，主要是分析前后两帧之间的像素差异，从而判别画面中是否有运动物体。
帧间差分法识别物体运动
大致效果如图，当我们在晃动婴儿模型时，导致摄像机读取到的前后两帧画面出现了像素差异，从而能框处运动的部位，下面的窗口是将图像黑白二值化后，显示的像素变化区域。
主要采用的是opencv，代码如下：
#读取摄像头数据，使用的是角峰鸟接口，也可换用自己相机的调用接口
frame_lwpCV = graph.getimage()
# 对帧进行预处理，先转灰度图，再进行高斯滤波。
# 用高斯滤波进行模糊处理，减少自身震动与光波干扰
gray_lwpCV = cv2.cvtColor(frame_lwpCV, cv2.COLOR_BGR2GRAY)
gray_lwpCV = cv2.GaussianBlur(gray_lwpCV, (21, 21), 0)
# 对于每个从背景之后读取的帧都会计算其与背景之间的差异，并得到一个差分图（different map）。
# 还需要应用阈值来得到一幅黑白图像，并通过下面代码来膨胀（dilate）图像，从而对孔（hole）和缺陷（imperfection）进行归一化处理
diff = cv2.absdiff(background, gray_lwpCV)
diff = cv2.threshold(diff, 25, 255, cv2.THRESH_BINARY)[1] # 二值化阈值处理
diff = cv2.dilate(diff, es, iterations=2) # 形态学膨胀
后面可再自行设定一个阈值，当前后两帧像素差达到何种程度才判定运动，从而实现检测。
以上只是部分核心代码，具体实现代码移步文章末尾的github的源代码部分，具体代码中还涉及到了判定婴儿睡或醒来的条件计时器、与微信发消息等功能的集合。
检测结果自动记录excel表格
主要用到了excel的这个库xlws和time库，time主要负责记录时间点与睡眠时长，xlws则负责写入这些信息
wb = xlwt.Workbook()
day=datetime.datetime.now().day
month=datetime.datetime.now().month
hour=datetime.datetime.now().hour
minute=datetime.datetime.now().minute
time_pnt=str(hour)+u"点"+str(minute)+u"分"
time_start=time.time()
sheet = wb.add_sheet(str(month)+u"月"+str(day)+u"日")
row=0
col=0
time.sleep(10)
sheet.write(row, col, time_pnt.format(row, col))
还要负责对睡眠时长做一个评价，写一个time2str函数评价此次睡眠
def time2str(long):
ret=""
describe=""
if long > 3600:
hour=long//3600
long=long%3600
ret=ret+str(hour)+"小时"
if long > 60:
minute=long//60
long=long%60
ret=ret+str(minute)+"分钟"
long=long//1
ret=ret+str(long)+"秒"
if hour>=1:
describe=describe+u"，您的宝宝这次睡得非常香，连续睡眠时间超过一次睡眠周期"
else:
describe=describe+u"您的宝宝好像被什么打扰了，中途醒过来了"
return ret,describe;
这是记录的效果
itchat实现微信实时提醒
检测出了婴儿的入睡与醒来，还需要实时提醒家长婴儿的状态
import itchat
#产生二维码
itchat.auto_login()
#定义用户的昵称
send_userid='John Gwen'
#查找用户的userid
itcaht_user_name = itchat.search_friends(name=send_userid)[0]['UserName']
#利用send_msg发送消息
itchat.send_msg('您的孩子醒来了！',toUserName=itcaht_user_name)
当一天结束后，itchat还能把一整天的睡眠记录发给家长，让家长知道今天的睡眠情况如何。
效果演示
项目简短演示请移步：
https://v.youku.com/v_show/id_XNDI3NTY5NjAxMg==.html?spm=a2hzp.8244740.0.0
网友评论