分类

课内:
不限
类型:
不限 游戏 项目 竞赛 个人研究 其他
评分:
不限 10 9 8 7 6 5 4 3 2 1
年份:
不限 2018 2019

资源列表

  • 基于python的618电商价格分析


    云服务器:ESC Ubuntu 16.04 x64
    PhantomJS:beta-Linux-ubuntu-xenial 2.1.1
    Python 2.7.12

    前言
    好久没玩点有意思的了,这次借618这个购物节,自己也要搞台mbp,顺便搞一波大新闻。

    内容
    对某宝的其中四家店,再加上某东一家店,对比同一款机型,对价格进行监控,至于监控时间,大概是不间断的监控吧,还有邮件提醒哦~


    涉及面
    爬虫中阶知识,因为涉及到动态页面抓取,一个页面对不同型号进行点击操作,之后再获取元素,使用了phantomjs包
    python字符串处理中阶知识,涉及到数据清洗,重构,还有缺失值的填充,这次没用pandas进行处理,直接用的是字符串处理技巧
    因为需要进行数据分析展示,故需要初级的JavaScript知识以及echarts的了解,这次构图使用的是echarts,比较简单

    开搞-数据挖掘
    因为涉及到商家利益,具体的代码细节将不再展开。

    流程和以前的动态页面抓取一致,选择需要的url之后进行元素点击操作,目的是为了选中需要比较价格的机型,这都么有问题,主要将一些注意点

    Q:元素加载过程中出现can’t find element问题A: 首先确定自己的元素位置是否写对,建议使用xpath的方法定位元素,再chrom上直接可用copy xpath,其余都对的情况可以加上wait等待时间,参考这里
    Q:如果ip被封了,connection refusedA: 请参考Python爬虫防封杀方法集合


    Q:动态页面加载过程中,商家交换了商品的次序,导致获取到的div位置不正确,怎么办?A: 解决方法,额,我是每天看一下log,看看有没有不正常的,不正常就kill任务然后修改位置,再接着跑,一般来说,商家不会闲着无聊去修改位置的,另一个解法是对之后的结果手动清洗,如果价格与之前的价格差值大过一定范围,则直接认为是噪声数据,毕竟,怎么可能价格涨跌超过1000的呢,还有一个解法是,确定点击元素的值代表是什么型号,然后点击的价格就是什么型号的了,这个我懒得做了。。。。
    Q:我想要及时知道哪家店价格已经到我的接受阈值了,怎么通知我?A:写监控邮件,当价格低于某个阈值,直接触发邮件功能,邮件如何书写,请参考,这个是直接可用的
    1 评论 1 下载 2019-04-23 22:21:11 下载需要9点积分
  • 基于springboot的自动化办公系统(企业人事管理系统)

    面向组织的日常运作和管理,员工及管理者使用频率最高的应用系统,极大提高公司的办公效率。oasys是一个OA办公自动化系统,使用Maven进行项目管理,基于springboot框架开发的项目,mysql底层数据库,前端采用freemarker模板引擎,Bootstrap作为前端UI框架,集成了jpa、mybatis等框架。
    1.项目介绍oasys是一个OA办公自动化系统,使用Maven进行项目管理,基于springboot框架开发的项目,mysql底层数据库,前端采用freemarker模板引擎,Bootstrap作为前端UI框架,集成了jpa、mybatis等框架。作为初学springboot的同学是一个很不错的项目,如果想在此基础上面进行OA的增强,也是一个不错的方案。
    2.框架介绍项目结构

    前端



    技术
    名称
    版本
    官网




    freemarker
    模板引擎springboot
    1.5.6.RELEASE集成版本
    https://freemarker.apache.org/


    Bootstrap
    前端UI框架
    3.3.7
    http://www.bootcss.com/


    Jquery
    快速的JavaScript框架
    1.11.3
    https://jquery.com/


    kindeditor
    HTML可视化编辑器
    4.1.10
    http://kindeditor.net


    My97 DatePicker
    时间选择器
    4.8 Beta4
    http://www.my97.net/




    后端



    技术
    名称
    版本
    官网




    SpringBoot
    SpringBoot框架
    1.5.6.RELEASE
    https://spring.io/projects/spring-boot


    JPA
    spring-data-jpa
    1.5.6.RELEASE
    https://projects.spring.io/spring-data-jpa


    Mybatis
    Mybatis框架
    1.3.0
    http://www.mybatis.org/mybatis-3


    fastjson
    json解析包
    1.2.36
    https://github.com/alibaba/fastjson


    pagehelper
    Mybatis分页插件
    1.0.0
    https://pagehelper.github.io



    3.部署流程
    把oasys.sql导入本地数据库
    修改application.properties,
    修改数据源,oasys——>自己本地的库名,用户名和密码修改成自己的
    修改相关路径,配置图片路径、文件路径、附件路径
    OasysApplication.java中的main方法运行,控制台没有报错信息,数据启动时间多久即运行成功
    在浏览器中输入localhost:8088/logins

    账号:test 密码:test账号:soli 密码:123456

    4.项目截图




    0 评论 16 下载 2019-04-03 19:31:30 下载需要20点积分
  • 基于mtcnn与facenet实现人脸登录系统

    一、介绍本文主要介绍了系统涉及的人脸检测与识别的详细方法,该系统基于 python2.7.10/opencv2/tensorflow1.7.0 环境,实现了从摄像头读取视频,检测人脸,识别人脸的功能。
    人脸识别是计算机视觉研究领域的一个热点。目前,在实验室环境下,许多人脸识别已经赶上(超过)人工识别精度(准确率:0.9427~0.9920),比如face++,DeepID3,FaceNet等(详情可以参考:基于深度学习的人脸识别技术综述)。但是,由于光线,角度,表情,年龄等多种因素,导致人脸识别技术无法在现实生活中广泛应用。本文基于python/opencv/tensorflow环境,采用FaceNet(LFW:0.9963 )为基础来构建实时人脸检测与识别系统,探索人脸识别系统在现实应用中的难点。下文主要内容如下 :

    利用htm5 video标签打开摄像头采集头像并使用jquery.faceDeaction组件来粗略检测人脸
    将人脸图像上传到服务器,采用mtcnn检测人脸
    利用opencv的仿射变换对人脸进行对齐,保存对齐后的人脸
    采用预训练的facenet对检测的人脸进行embedding,embedding成512维度的特征
    对人脸embedding特征创建高效的annoy索引进行人脸检测

    二、人脸采集采用html5 video标签可以很方便的实现从摄像头读取视频帧,下文代码实现了从摄像头读取视频帧,faceDection识别人脸后截取图像上传到服务器功能。
    在html文件中添加video,canvas标签
    <div class="booth"> <video id="video" width="400" height="300" muted class="abs" ></video> <canvas id="canvas" width="400" height="300"></canvas> </div>
    打开网络摄像头
    var video = document.getElementById('video'),var vendorUrl = window.URL || window.webkitURL;//媒体对象navigator.getMedia = navigator.getUserMedia || navagator.webkitGetUserMedia || navigator.mozGetUserMedia || navigator.msGetUserMedia;navigator.getMedia({video: true, //使用摄像头对象audio: false //不适用音频}, function(strem){ video.src = vendorUrl.createObjectURL(strem); video.play();});
    利用jquery的facetDection组件检测人脸
    $('#canvas').faceDetection()检测出人连脸的话截图,并把图片转换为base64的格式,方便上传
    context.drawImage(video, 0, 0, video.width, video.height);var base64 = canvas.toDataURL('images/png');
    将base64格式的图片上传到服务器
    //上传人脸图片function upload(base64) { $.ajax({ "type":"POST", "url":"/upload.php", "data":{'img':base64}, 'dataType':'json', beforeSend:function(){}, success:function(result){ console.log(result) img_path = result.data.file_path } });}
    图片服务器接受代码,php语言实现
    function base64_image_content($base64_image_content,$path){ //匹配出图片的格式 if (preg_match('/^(data:\s*image\/(\w+);base64,)/', $base64_image_content, $result)){ $type = $result[2]; $new_file = $path."/"; if(!file_exists($new_file)){ //检查是否有该文件夹,如果没有就创建,并给予最高权限 mkdir($new_file, 0700,true); } $new_file = $new_file.time().".{$type}"; if (file_put_contents($new_file, base64_decode(str_replace($result[1], '', $base64_image_content)))){ return $new_file; }else{ return false; } }else{ return false; }}
    三、人脸检测人脸检测方法有许多,比如opencv自带的人脸Haar特征分类器和dlib人脸检测方法等。对于opencv的人脸检测方法,有点是简单,快速;存在的问题是人脸检测效果不好。正面/垂直/光线较好的人脸,该方法可以检测出来,而侧面/歪斜/光线不好的人脸,无法检测。因此,该方法不适合现场应用。对于dlib人脸检测方法 ,效果好于opencv的方法,但是检测力度也难以达到现场应用标准。
    本文中,我们采用了基于深度学习方法的mtcnn人脸检测系统(mtcnn:Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Neural Networks)。mtcnn人脸检测方法对自然环境中光线,角度和人脸表情变化更具有鲁棒性,人脸检测效果更好;同时,内存消耗不大,可以实现实时人脸检测。本文中采用mtcnn是基于python和tensorflow的实现(代码来自于davidsandberg,caffe实现代码参见:kpzhang93)
    model= os.path.abspath(face_comm.get_conf('mtcnn','model'))class Detect: def __init__(self): self.detector = MtcnnDetector(model_folder=model, ctx=mx.cpu(0), num_worker=4, accurate_landmark=False) def detect_face(self,image): img = cv2.imread(image) results =self.detector.detect_face(img) boxes=[] key_points = [] if results is not None: #box框 boxes=results[0] #人脸5个关键点 points = results[1] for i in results[0]: faceKeyPoint = [] for p in points: for i in range(5): faceKeyPoint.append([p[i], p[i + 5]]) key_points.append(faceKeyPoint) return {"boxes":boxes,"face_key_point":key_points}
    具体代码参考fcce_detect.py。
    四、人脸对齐有时候我们截取的人脸了头像可能是歪的,为了提升检测的质量,需要把人脸校正到同一个标准位置,这个位置是我们定义的,假设我们设定的标准检测头像是这样的。

    假设眼睛,鼻子三个点的坐标分别是a(10,30) b(20,30) c(15,45),具体设置可参看config.ini文件alignment块配置项。
    采用opencv仿射变换进行对齐,获取仿射变换矩阵
    dst_point=【a,b,c】tranform = cv2.getAffineTransform(source_point, dst_point)
    仿射变换
    img_new = cv2.warpAffine(img, tranform, imagesize)
    具体代码参考face_alignment.py文件。
    五、产生特征对齐得到后的头像,放入采用预训练的facenet对检测的人脸进行embedding,embedding成512维度的特征,以(id,vector)的形式保存在lmdb文件中。
    facenet.load_model(facenet_model_checkpoint) images_placeholder = tf.get_default_graph().get_tensor_by_name("input:0") embeddings = tf.get_default_graph().get_tensor_by_name("embeddings:0") phase_train_placeholder = tf.get_default_graph().get_tensor_by_name("phase_train:0") face=self.dectection.find_faces(image) prewhiten_face = facenet.prewhiten(face.image) # Run forward pass to calculate embeddings feed_dict = {images_placeholder: [prewhiten_face], phase_train_placeholder: False} return self.sess.run(embeddings, feed_dict=feed_dict)[0]
    具体代码可参看face_encoder.py。
    人脸特征索引
    人脸识别的时候不能对每一个人脸都进行比较,太慢了,相同的人得到的特征索引都是比较类似,可以采用KNN分类算法去识别,这里采用是更高效annoy算法对人脸特征创建索引,annoy索引算法的有个假设就是,每个人脸特征可以看做是在高维空间的一个点,如果两个很接近(相识),任何超平面都无法把他们分开,也就是说如果空间的点很接近,用超平面去分隔,相似的点一定会分在同一个平面空间。
    #人脸特征先存储在lmdb文件中格式(id,vector),所以这里从lmdb文件中加载lmdb_file = self.lmdb_fileif os.path.isdir(lmdb_file): evn = lmdb.open(lmdb_file) wfp = evn.begin() annoy = AnnoyIndex(self.f) for key, value in wfp.cursor(): key = int(key) value = face_comm.str_to_embed(value) annoy.add_item(key,value) annoy.build(self.num_trees) annoy.save(self.annoy_index_path)
    具体代码可参看face_annoy.py。
    六、人脸识别经过上面三个步骤后,得到人脸特征,在索引中查询最近几个点并就按欧式距离,如果距离小于0.6(更据实际情况设置的阈值)则认为是同一个人,然后根据id在数据库查找到对应人的信息即可。
    #根据人脸特征找到相似的def query_vector(self,face_vector): n=int(face_comm.get_conf('annoy','num_nn_nearst')) return self.annoy.get_nns_by_vector(face_vector,n,include_distances=True)
    具体代码可参看face_annoy.py。
    七、安装部署建表,用于存在用户注册信息,并在web/DqMysql.php 中配置数据库信息。
    create database face;CREATE TABLE `face_user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `img` varchar(1024) NOT NULL DEFAULT '', `user_name` varchar(1024) NOT NULL DEFAULT '', `email` varchar(1024) NOT NULL DEFAULT '', PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8
    系统采用有两个模块组成:

    face_web:提供用户注册登录,人脸采集,php语言实现
    face_server:提供人脸检测,裁剪,对齐,识别功能,python语言实现

    模块间采用socket方式通信通信格式为:length+content;face_server相关的配置在config.ini文件中。
    使用镜像

    face_serverdocker镜像:shareclz/python2.7.10-face-image
    face_web镜像:skiychan/nginx-php7

    假设项目路径为/data1/face-login
    安装face_server容器
    docker run -it --name=face_server --net=host -v /data1:/data1 shareclz/python2.7.10-face-image /bin/bashcd /data1/face-loginrm -rf /data1/face-login/models/facedetect/20180408-102900/._model-20180408-102900.metapython face_server.py安装face_web容器
    docker run -it --name=face_web --net=host -v /data1:/data1 skiychan/nginx-php7 /bin/bashcd /data1/face-login;php -S 0.0.0.0:9988 -t ./web/最终效果:
    face_server加载mtcnn模型和facenet模型后等待人脸请求

    未注册识别失败

    人脸注册

    注册后登录成功

    注意由于模型文件过大,在此无法上传,整个项目放在百度云盘,地址:
    链接: https://pan.baidu.com/s/1z9CFnK6fNsUl-1jVmnaOiw提取码: ktdp
    1 评论 6 下载 2019-03-28 14:30:22 下载需要13点积分
  • 基于VC++实现的支持视频和图片的车牌定位与识别系统

    1 引言在建设平安城市的进程中,安全是政府日常管理工作中的重要任务。随着城市报警和监控系统的建设,对于监控数据的分析也日显重要。
    目前需要对重点街道或路口采集的视频数据进行分析,主要包括两点:

    对于视频中过往机动车辆的机动车牌提取出来,生成截屏图片;
    对提取的图片中机动车牌号码进行提取,并输出文件进行记录。

    通过系统的自动分析提取,可以对街道或路口的车辆流量进行统计,一方面解决了从海量数据中人工分析的困难,另一方面通过机动车辆的统计,对城市道路建设以及交通管理都具有重要指导意义。
    1.1 编写目的该文档是基于视频文件的车辆分析系统的设计说明书,主要是向开发人员介绍系统软件的详细设计。
    1.2 背景为了对街道或路口的车辆流量进行统计,以及解决从海量数据中人工分析的困难,开发此车辆分析系统。
    2 需求分析2.1 功能性需求分析视频文件转换为有车牌号码框的图片集合,将现有的视频文件按每帧进行分析,识别出存在车牌号码框的帧,并且将视频的该帧转换为图片,在图片中将识别出的车牌框使用明显的色彩框进行标注。约束条件:

    视频文件支持MPEG格式,导出的图片集合为BMP格式车牌支持蓝牌、黄牌
    导出图片车牌号码框标识,从视频文件所转换的图片中,将识别到的车牌号码用色

    车牌号码文字识别,对图片中的车牌号码识别形成车牌号码列表,并保存号码列表到文件。约束条件:

    图片为BMP格式
    车牌支持蓝牌,黄牌
    车牌号码支持中国车牌格式,例如:苏AXXXXX

    车流量统计,通过对视频的车牌框识别与生成图片的号码文字识别,对号码进行去重处理,并计算该视频中的车流量。约束条件:

    在车流量计算中,同一个车牌号码只计算为1个流量单位。
    2.1 非功能性需求分析
    系统内存消耗控制在1GB以内
    系统可以在Windows XP操作系统上运行
    支持清晰度为CIF(352*288)、4CIF(705*576)的视频文件

    3 系统总体设计3.1 软件界面
    3.2 系统流程图
    3.3 系统详细说明3.3.1 图像处理图像处理包括灰度化,灰度均匀化,Robert算法轮廓提取,中值滤波,自适应二值化,图像的腐蚀和膨胀。

    图像灰度化函数:cvThreshold()。灰度均匀化函数:cvEqualizeHist()。Robert算法是自己写的,函数名为:RobertDIB()。中值滤波函数是自己写的,这里用的是3*3的大小滤波。函数名为:myMedianFilter()。自适应二值化函数为:cvThreshold(),其中参数为:CV_THRESH_BINARY| CV_THRESH_OTSU,实现自适应。图像的膨胀与腐蚀虽然是使用的opencv封装的cvDilate函数,和cvErode函数,但是膨胀与腐蚀的结构元素和处理次数都是根据实际情况设定的。
    3.3.2 车牌定位车牌定位主要是在前面对图像的处理后,车牌区域已经基本处于一块白色的区域,然后用CvMemStorage类创造出一块内存空间,再用cvFindContours()方法提取所有连通区域的所有轮廓保存到这个内存中。再对每一个轮廓进行筛选。这里进行筛选的方法是,根据轮廓用cvBoundingRect()方法得到每个轮廓的矩形区域,这里因为车辆的远近导致大小不一,所以给车牌的大小设定范围,这里我设定的范围是,宽度比高度大18个像素点,宽度在50像素和25像素之间,高度在25像素和5像素之间,宽度与高度的比值取值可以是2或者3或者4。筛选条件的代码为:
    area_Rect->width-area_Rect->height>=18 &&area_Rect->width<=40 &&area_Rect->width>25 &&area_Rect->height<25 &&area_Rect->height>5 &&(area_Rect->width/area_Rect->height==2 || area_Rect->width/area_Rect->height==3 || area_Rect->width/area_Rect->height==4)
    这样筛选之后,大区域的轮廓就被过滤掉了,但是还有和车牌特征相近的区域存在,比如车灯,车辆的牌子等等。于是,还需要进行下一步过滤。由于,车牌的自身特点是里面会有字符,每个字符之间有一定空隙。于是,我先灰度化,二值化这些被筛选过一次的区域,然后竖直膨胀20次(为了让竖直方向全是白色),最后从左到右的计算0变1,1变0的次数,大于12次(相当于6个字符)的时候就当做是车牌区域。
    3.3.3 车牌识别车牌识别部分我用的是SVM算法+HOG特征提取的方式。先把车牌里的字符进行分割,这里分割的方式和定位车牌的时候很像。提取出每个矩形轮廓基本就是字符区域。然后用另外一个工程制作SVM分类器进行识别,制作过程分为:训练集的收集,通过训练得到分类器,这里的分类器数据我保存在HOG_SVM_DATA.xml文件中,然后主工程文件中只需要调用里面的数据生成cvSvm分类器,最后再将分割出来的每一个字符去进行识别,最后将车牌号输出到主界面的编辑框和外部文件中。
    4 代码结构代码结构很简单,选择输入的视频文件之后,就设置定时器消息函数,定时为0.5s/帧。主要的代码都在MFCShowVideoTestDlg.cpp文件的onTimer()方法中,其中需要的一些函数还放在PlateLocateMethod.cpp文件中。
    5 主要的算法和思路在图像处理部分用到的中值滤波算法和Robert边缘检测算法都已经很成熟,这里不作介绍。主要的算法在于字符识别阶段用到SVM算法,生成分类器,生成分类器的工程名:plateTest。
    这里面用到一个比较特殊的方式,就是先在外部hb.txt文档中写好训练集每一幅图片的路径,下一行则是类别。
    然后在程序中按照文件的基数偶数行分别提取出图片和类别加入训练。使用svm.train()训练,最后通过svm.save(“D://HOG_SVM_DATA.xml” )保存到D盘中。
    在主工程中Findchar()函数用于识别字符,首先创建CvSVM类型的一个分类器,然后加载D盘下HOG_SVM_DATA.xml文件中的数据,代码为:svm.load(“D:/HOG_SVM_DATA.xml”)。
    然后创建HOGDescriptor对象,并且用这个对象里面的compute()方法进行Hog特征计算,其中创建vector类型的动态数组用于存放结果,然后把结果归总到CvMat类型的一块空间中,再通过svm.predict()检测出最后的结果。
    这里需要说明的是,最后结果是一个整型的值。因为字母我也是经过一并放入其中。所以最后的结果需要进行判断其值,如果是值在65以上的就是字符,需要进行强制转换。
    6 总结由于我是一个人参赛,而且时间仓促,给我造成了很大的困难。没有时间去完善代码,和完善其功能,只实现了主体功能。并且因为SVM算法的训练集也没有时间去收集,本应该还有非样本集的,也没有时间去收集,导致了识别率严重偏低。由于识别率太低,没有办法进行去重处理,所以没办法实现流量统计。还有就是
    采用SVM算法太耗时,算法的处理不应该放在主线程,代码的结构还没有时间做最后的改进,即使效果不如意,但是
    方法和思路应该是正确的,只是时间和人员不够,完善好了效果应该还行。
    1 评论 37 下载 2018-10-05 23:57:03 下载需要4点积分
  • 基于Android实现的锁屏软件APP

    一、概述1.1 选题背景首先现在各种安卓的游戏和APP充斥应用市场,但是创意还是有的。
    首先,锁屏软件虽然不是一个创新点,我也承认好多人都做过了,也有做的很绚丽的,这个事实我也承认,但是当前背景是,很多锁屏软件,仅仅是PIN或者是九宫格密码形式,但是造成的问题是,破解起来也很容易,网上就有好多破解教程,简单粗暴。
    所以锁屏软件的安全性还是一个值得考究的部分。同时网上有很多需求,百度知道等等,有好多人都需求一个真正属于他们自己的软件,能够真正的自定义。
    所以基于上述两点,我选择了这个方向的开发,我的APP“ALL IN ONE”就是能为了实现这种的需求实现的,既有防盗功能,也有自定义锁屏界面的功能。
    1.2 项目意义这个项目的意义十分的明显,首先是解决了当前的需求,所以说是一个使用的app,不是说为了创意而创意的产物。
    其次,他的功能很多,应用层面很广阔。首先可以个人使用这款软件,用作娱乐,放松身心以及自由的用户体验。同时他也可以给企业用,企业可以用这种功能来宣传,来投放广告,可以进行营利。所以项目意义重大,one here,use in many place。所以总体上来讲,有足够多的理由证明其意义还是存在的。
    二、可行性分析和目标群体2.1 可行性分析首先可行性是毋庸置疑的,首先,市场方面是存在的,我在做这个项目之前进行了简单的调研,返现有很多人还是希望能够自定义锁屏界面的,因为许多市面上的APP没有这种功能,同时对于防盗功能更是必须的,举例来说在我们的图书馆,很多同学看书看累了或者是粗心大意,就会直接把手机丢到桌子上,同时每个月都有好多同学不是丢电脑就是丢手机的。所以做一个这种的防盗功能的app更是情势所迫,这样可以在某种程度上减少手机的丢失概率。正是因为市场的需求造成这种app的诞生。
    2.2 目标群体目标群体分为两种,主要是分为个人和组织,个人主要面向群体是在校学生这种手机长用户,因为他们容易丢手机,同时也容易成为盗窃的受害者,同时比如像图书管这种防盗不好进行地方,更有这种软件市场,同时对于学生来说,更喜欢个性化,喜欢追求自由。
    而对于组织来说,主要面向各种手机公司,尤其是卖手机的地方,我们的APP的市场更为广阔,企业可以通过自定义锁屏的方式不断循环播放广告,低成本,但是高效率。同时也可以起到防盗的功能,比如某些不可以取下的手机。
    三、作品功能和原型设计3.1 总体功能结构
    3.2 具体功能模块设计3.2.1 锁屏/解锁模块监听android系统级广播,通过service和broadcast receiver共同实现锁屏界面实现。
    3.2.2 九宫格密码加密模块自定义View控件,实现OnCompleteListener,同时使用sharedpreferences操作存贮密码,同时定义相关函数。
    3.2.3 防盗功能模块监听Sensor,和密码加密模块通信。
    3.2.4 自定义锁屏背景模块使用viewpager轮播,app自带锁屏背景,只有当你在相关文件夹中添加了相关图片才会自动载入,实现自定义。
    3.3 界面设计3.3.1 主界面设计
    3.3.2 密码功能界面设计


    3.3.3 防盗功能界面设计

    四、作品实现、特色和难点4.1 作品实现
    作品实现:使用工具
    IDE:adt-bundle-windows-x86_64-20140702,
    SDK:API-19
    Tools: sdk tool:hierarchyviewer.bat, draw9patch.bat

    4.2 特色分析特色有三:

    首先是正常的密码加密以及锁屏功能,有基本的保护功能
    防盗功能,正如同前面分析的,有广泛的应用空间和很强的实用性
    自定义锁屏背景,可以让你的生活不再单调,手机也能透露你的个性,一个好的锁屏背景不如一个真正属于你自己的锁屏背景更加适合你

    4.3 难点和解决方案难点有监听系统消息,同时最重要的是对于九宫格密码的存储识别以及最后校验的过程,同时还有在进行防盗功能时候设置移动度量以及最后senor的register和unregister的事件相应问题。还有就是关于一些逻辑的设计问题,很是个难题,要考虑很多,要不就会留下bug,或者是做出交互性不好的软件。
    解决方案即使查找资料,并且多次试验,找人进行用户体验试验以及重复测试,同时通过画状态图的方式进行相关状态的制约问题。
    1 评论 2 下载 2019-02-27 13:53:19 下载需要16点积分
  • 基于80x86汇编实现的双任务管理系统-贪吃蛇小游戏

    一、题目设计双任务系统设计
    二、设计内容采用8086汇编语言,设计并实现双任务系统设计,对两个任务(两个窗口)进行管理和调度,能够实现任务之间的切换,保存上下文信息。任务调度程序使用循环程序来完成。在左边显示窗口,能够运行简单的贪吃蛇游戏,在右边显示窗口,能够画出等边三角形。
    三、需求分析
    贪吃蛇游戏采用键盘按键控制贪吃蛇前进方向,如“W、S、A、D”键分别为上下左右方向控制按键
    游戏终止条件为贪吃蛇碰触窗口边框、蛇头碰触身体、身体长度达到上限,以“R”键为游戏重新开始。若游戏进行当中无键按下,则贪吃蛇保持当前方向不变直至撞墙
    等边三角形位置在该显示区域的中部,参数边长由键盘输入确定
    三角形每次根据输入的参数,在该窗口将三角形重新绘制出来
    初始工作窗口为右边显示窗口,以后每按一次Tab键切换至旁边显示窗口
    当某个显示窗口被选中时,则焦点停留在该窗口,键盘输入对当前窗口有效
    整个系统按ESC键退出,返回DOS操作系统界面

    四、概要设计4.1 方案设计
    4.2 模块功能说明4.2.1 I/O模块说明
    getInt() 读入整数函数:键盘输入一串字符,检测该字符是否为数字字符。若不是数字字符,则做无效处理。直至输入完整的数值字符保存在AX中并将ZF置1(调用者可用JZ判断是否发生特殊情况)。并做如下处理:①若键盘输入Esc键,返回AX=0,并将ZF置0。②若键盘输入Tab键,返回AX=1,并将ZF置0
    getchar() 函数:输入一个字符,回显
    puts() 函数:输出字符串
    getch() 函数:输入一个字符,不回显
    putInt() 函数:将AX寄存器中的数字以十进制的形式输出

    4.2.2 控制模块说明
    movCursor() 移动光标模块:将光标移动至y行x列
    sDelay() 延时函数模块:控制贪吃蛇移动速度
    kbhit() 模块:检测键盘有无输入
    rand() 随机数发生模块:生成一定范围内的随机数

    五、详细设计及运行结果5.1 流程图三角形模块流程图

    贪吃蛇模块流程图

    5.2 函数之间相互调用的图示函数内部调用图

    顶层调用图示

    5.3 程序设计主要代码任务切换
    yield proc pushf ;先保存一下flags cmp ax,0 ;判断是否是esc jne yEls1 mov AH, 4CH ;esc exit int 21h yEls1: ;是tab,先在它自己的栈里保存寄存器, push ax push bx push cx push dx push di push si push bp ;再切换栈,恢复另一组寄存器 cmp yFunc,0 ;当前是tri? je yTri mov stack_snake_sp,sp mov sp,stack_tri_sp ;当前是1:snake,要切换成tri mov ax,STACK_RTI mov ss,ax mov yFunc,0 jmp yTriEd yTri: mov stack_tri_sp,sp mov sp,stack_snake_sp ;当前是0:tri,要切换成snake mov ax,STACK_SNAKE mov ss,ax mov yFunc,1 ;恢复寄存器 yTriEd: pop bp pop si pop di pop dx pop cx pop bx pop ax popf ret ;切换yield endp
    贪吃蛇移动
    sMove proc pushf push ax push bx push di mov ah,0 mov al,sbody_move mov di,ax ;擦除身体最后一节 shl di,1 mov bl,sbody[di] ;x di*2+0 inc di mov al,sbody[di] ;y call movCursor cmp bl,-1 jz SMEls0 mov al,' ' call putchar SMEls0: mov ah,0 mov al,sbody_move mov bx,ax mov al,x mov di,bx shl di,1 mov sbody[di],al mov al,y inc di mov sbody[di],al dec sbody_move cmp sbody_move,0 ja sMElse1 ;手动取余 mov al,blength mov sbody_move,al sMElse1: ;不需要擦除头部 ;switch(m) cmp m,'s' je sMCs1 cmp m,'a' je sMCs2 cmp m,'d' je sMCs3 cmp m,'w' je sMCs4 ;case sMCs1: inc y jmp SCsEd1 sMCs2: dec x jmp SCsEd1 sMCs3: inc x jmp SCsEd1 sMCs4: dec y jmp SCsEd1 SCsEd1: ;end of switch-case mov al,y ;重新绘制头部 mov bl,x call movCursor mov al,HEAD_CHAR call putchar cmp HEAD_CHAR,'#' jne sMElse2 mov HEAD_CHAR,'*' jmp sMIfEd2 sMElse2: mov HEAD_CHAR,'#' sMIfEd2: ;移动光标 mov bl,0 mov al,SCY call movCursor pop di pop bx pop ax popf retsMove endp
    画三角形主要流程
    triangle proc near pushf push AX push BX push CX push DX mov triLenth,AX ;记录AX输入的边长 call triHypotenuse ;第一次call画左边 call triHypotenuse ;第二次call画右边 call triBase ;画横线 pop DX pop CX pop BX pop AX popf ret
    5.4 运行结果开始界面

    输入等边三角形边长
    若输入超出范围,清除输入数据并等待重新输入(此处为500)

    输入符合规范(此处为200)

    按Enter画等边三角形并重新打印提示信息

    可循环读入等边三角形边长(此处为80)

    按Enter清除右半部分屏幕并重新打印

    按Tab键画等边三角形程序停止,贪吃蛇程序开始运行

    食物出现在随机位置,用W A S D键控制贪吃蛇运动

    若撞墙或碰到自己游戏结束并暂停

    游戏过关

    按R键重新开始游戏

    按Tab键贪吃蛇程序暂停,画等边三角形程序等待输入

    六、总结6.1 不足和改进
    不足

    贪吃蛇游戏制作的精细度和画面质量有待提高贪吃蛇的移动速度无法改变三角形使用整数近似计算
    改进

    可以通过改变蛇身的样子和食物的颜色来提高画面质量可以在界面中设置游戏的速度:慢速 中速 高速三角形可使用浮点数寄存器进行划线

    6.2 体会在本次竞赛学习过程中,项目经过功能划分、肢解分为一层一层的模块调用。将计算机基本指令和中断调用整合起来形成底层模块,再由底层模块整合起来形成较大的功能模块,再由功能模块进行逻辑组合形成snake和tri模块,使用yield任务切换模块作为桥梁将整个程序整合在一起。
    在实际操作中我们认识到熟练掌握汇编语言中的指令的基本用法和组织结构的重要性。只有熟练掌握指令的基本用法,我们才能在实际的编程中像运用高级语言一样灵活的变通,认清计算机组织结构才能灵活设计程序整体架构。汇编语言作为一种低级设计语言,它是最底层的、与计算机内部的结构联系密切,我们在这次竞赛过程中深刻地了解到了这一点。
    在贪吃蛇程序和画等边三角形的程序设计中,加深了对计算机体系结构的理解,深刻理解汇编语言和其他语言的不同。在代码设计中也遇到很多的困难,比如一些寄存器使用冲突的问题,还有一些宏的使用问题和两个程序切换的问题等,以及如何对程序调用时对参数和返回值做一系列约定。在这个方面,我们深刻理解了团队协作能力的重要性。
    1 评论 1 下载 2019-02-13 17:40:41 下载需要16点积分
  • Windows驱动级云安全主动防御系统

    1 使用说明本系统分成四个模块,包含一个应用层可执行文件(.exe),四个内核层驱动(.sys),一个规则库数据库文件(.mdb),请保证六个文件在同一目录。
    1.1 安装服务与启动监控程序不需要安装,双击即可打开可执行文件。打开后,如果需要启动服务,请点击“安装服务”,请切换至“主要”标签页,接着“启动进程监控”、“启动注册表监控”、“启动文件监控”、“启动内存加载监控”,程序开始拦截系统调用。

    1.2 停止监控与停止服务如果需要停止监控,请先在各标签页“停止功能”,例如停止注册表监控,请先点击注册表监控标签页“停止功能”按钮。接着打开“主要”标签页,停止相当服务即可, 如图:

    2 系统设计与架构2.1 开发环境本系统应用层采用Visual Studio 2008(C++)开发,驱动层开发环境为WDK 6001.18002、Notepad++,测试环境为VMware 6.0、Windows XP Sp3。
    2.2 系统结构病毒在计算机运行之后将根据自身的目的呈现出一系列的动作,包括写注册表项,生成文件,远程线程注入等等。本系统通过拦截系统调用对程序行为进行监控,将监控的行为信息交给监控中心和网络服务器分析处理,根据程序行为分析判断病毒,云安全概念的加入,本地特征库极小,占用系统资源很少。本系统设想根据这一系列的动作所组成的行为进行智能的逻辑判断该程序是不是病毒。
    系统结构示意图

    2.3 系统流程本系统分为六大模块:进程监控模块、注册表监控模块、内存加载监控模块、文件创建加载模块、云安全模块、安全监控中心模块。各个模块相互独立,系统流程图如下:

    3 系统实现原理3.1 Hook SSDT在 Windows NT 下,用户模式(User mode)的所有调用,如Kernel32.dll,User32.dll, Advapi32.dll等提供的API,最终都封装在Ntdll.dll中,然后通过Int 2E或SYSENTER进入到内核模式,通过服务ID,在System Service Dispatcher Table中分派系统函数。这些本地系统服务的地址在内核结构中称为系统服务调度表(System Service Dispatch Table,SSDT)中列出,该表可以基于系统调用编号进行索引,以便定位函数的内存地址。下图是Windows NT系列操作系统的体系结构,系统服务调用只是一个接口,它提供了将用户模式下的请求转发到Windows 2000内核的功能,并引发处理器模式的切换。在用户看来,系统服务调用接口就是Windows内核组件功能实现对外的一个界面。系统服务调用接口定义了Windows内核提供的大量服务。

    KeServiceDescriptorTable是由内核导出的表,这个表是访问SSDT的关键,具体结构是:
    typedef struct ServiceDescriptorTable { PVOID ServiceTableBase; PVOID ServiceCounterTable(0); unsigned int NumberOfServices; PVOID ParamTableBase;}
    其中:

    ServiceTableBase是 System Service Dispatch Table 的基地址NumberOfServices 由 ServiceTableBase 描述的服务的数目ServiceCounterTable 包含着 SSDT 中每个服务被调用次数的计数器ParamTableBase 包含每个系统服务参数字节数表的基地址
    System Service Dispath Table(SSDT):系统服务分发表,给出了服务函数的地址,每个地址4子节长。
    System Service Parameter Table(SSPT):系统服务参数表,定义了对应函数的参数字节,每个函数对应一个字节。

    为了调用特定函数,系统服务调度程序KiSystemService将该函数的ID编号乘以4以获取它在SSDT中的偏移量。注意KeServiceDescriptorTable包含了服务数目,该值用于确定在SSDT或SSPT中的最大偏移量。下图也描述了SSPT。该表中的每个元素为单字节长度,以十六进制指定了它在SSDT中的相应函数采取多少字节作为参数。在这个示例中,地址0x804AB3BF处的函数采用0x18个字节的参数。

    当调用INT 2E或SYSENTER指令时会激活系统服务调度程序。这导致进程通过调用该程序转换到内核模式。若将SSDT改为指向rootkit所提供的函数,而不是指向Ntoskrnl.exe或Win32k.sys,当非核心的应用程序调用到内核中时,该请求由系统服务调度程序处理,并且调用了rootkit的函数。这时,rootkit可以将它想要的任何假信息传回到应用程序,从而有效地隐藏自身以及所用的资源。
    由于Windows系统版本对某些内存区域启用了写保护功能,SSDT就包括在其中,若向只读内存区域中执行写入操作,则会发生蓝屏死机(Blue Screen of Death,BSoD)。Windows中可以通过Memory Descriptor List(MDL)修改内存属性, 把原来SSDT的区域映射到我们自己的MDL区域中,并把这个区域设置成可写。MDL的结构:
    typedef struct _MDL { struct _MDL *Next; CSHORT Size; //设置成MDL_MAPPED_TO_SYSTEM_VA ,这块区域就可写 CSHORT MdlFlags; struct _EPROCESS *Process; PVOID MappedSystemVa; PVOID StartVa; ULONG ByteCount; ULONG ByteOffset;} MDL, *PMDL;
    知道KeServiceDscriptorTable的基址和入口数后,用MmCreateMdl创建一个与KeServiceDscriptorTable对应地址和大小的内存区域,然后把这个MDL结构的flag改成MDL_MAPPED_TO_SYSTEM_VA ,那么这个区域就可以写了。最后把这个内存区域调用MmMapLockedPages锁定在内存中。
    通过微软已经导出的几个宏可以很方便地Hook SSDT。
    SYSTEMSERVICE 宏采用由ntoskrnl.exe导出的Zw*函数的地址,并返回相应的Nt*函数在SSDT中的地址。Nt*函数是私有函数,其地址列于SSDT中。Zw*函数是由内核为使用设备驱动程序和其他内核组件而导出的函数。注意,SSDT中的每一项和每个Zw*函数之间不存在一对一的对应关系。
    SYSCALL_INDEX宏采用Zw*函数地址并返回它在SSDT中相应的索引号。该宏和SYSTEMSERVICE宏发挥作用的原因在于Zw*函数起始位置的操作码。通过将该函数的第二个字节看作ULONG类型,这些宏能得到该函数的索引号。
    HOOK_SYSCALL和UNHOOK_SYSCALL宏采用被钩住的Zw*函数的地址,获取其索引号,并自动将SSDT中该索引的相应地址与_Hook函数的地址进行交换。
    #define SYSTEMSERVICE(_func) \ KeServiceDescriptorTable.ServiceTableBase[ *(PULONG)((PUCHAR)_func+1)] #define SYSCALL_INDEX(_Function) *(PULONG)((PUCHAR)_Function+1) #define HOOK_SYSCALL(_Function, _Hook, _Orig ) \ _Orig = (PVOID) InterlockedExchange( (PLONG) \ &MappedSystemCallTable[SYSCALL_INDEX(_Function)], (LONG) _Hook) #define UNHOOK_SYSCALL(_Func, _Hook, _Orig ) \ InterlockedExchange((PLONG) \ &MappedSystemCallTable[SYSCALL_INDEX(_Func)], (LONG) _Hook)
    3.2 监视进程创建和销毁原理监视系统进程开始和结束的方法是通过DDK中的PsSetCreateProcessNotifyRoutine函数设置一个CALLBACK函数。该函数的原形如下:
    NTSTATUS PsSetCreateProcessNotifyRoutine( IN PCREATE_PROCESS_NOTIFY_ROUTINE NotifyRoutine, IN BOOLEAN Remove);

    NotifyRoutine指定了当进程被创建和结束的时候所需要调用的回调函数
    Remove是用来告诉该函数是设置该回调还是移除

    NotifyRoutine的类型为PCREATE_PROCESS_NOTIFY_ROUTINE,其定义为:
    VOID (*PCREATE_PROCESS_NOTIFY_ROUTINE) ( IN HANDLE ParentId, IN HANDLE ProcessId, IN BOOLEAN Create);
    NotifyRoutine的传入参数中,ParentId和ProcessId用来标识进程,Create则是用来表示该进程是正在被创建还是正在被结束。这样,每当进程被创建或者结束的时候,操作系统就会立刻调用NotifyRoutine这个回调函数并正确提供参数。
    由于回调函数NotifyRoutine传入参数的类型为HANDLE,而PID为DWORD类型,可以通过强制转换为DWORD得到父进程、正在创建的进程的PID。
    但此时仍不能得到父进程和正在创建的路径,通过调用一个未公开函数 PsLookupProcessByProcessId得到该进程的PEPROCESS,每个进程都有一个 EPROCESS 结构,里面保存着进程的各种信息,和相关结构的指针。这个函数的原型如下:
    NTSTATUS PsLookupProcessByProcessId( IN ULONG ulProcId, OUT PEPROCESS * pEProcess);
    得到该进程的PEPROCESS对象后,由于PEPROCESS是微软未公开的结构,而且在不同的操作系统下结构还不一样。EPROCESS 偏移0X1fc中保存着一个给人看的进程名,更准确的叫法是映像名称。
    EPROCESS +1fc byte ImageFileName[16]
    ImageFileName[16] 是一个16个字节长的字节数组,保存着进程名。当进程名的长度大于等于16个字节时,在 ImageFileName[16] 只保存进程名的前15个字节,ImageFileName[16] 最后一个字节为0,字符串的结束符。不同进程的进程名可以相同,比如打开多个记事本,那么每个记事本的 ImageFileName[16] 都是 “NOTEPAD.EXE”,进程名只是给人看的,每个进程的 进程ID 都是不同的。对于父进程,在PEPROCESS保存进程名,通过自定义的一个函数当前进程可以得到完整的路径,该函数定义如下:
    PCWSTR GetCurrentProcessFileName() { DWORD dwAddress = (DWORD)PsGetCurrentProcess(); DWORD dwAddress1; if(dwAddress == 0 || dwAddress == 0xFFFFFFFF) return NULL; dwAddress += 0x1B0; if((dwAddress = *(DWORD*)dwAddress) == 0) return 0; dwAddress += 0x10; if((dwAddress = *(DWORD*)dwAddress) == 0) return 0; dwAddress1 = dwAddress;//2000 dwAddress += 0x3C; if((dwAddress = *(DWORD*)dwAddress) == 0) return 0; if (dwAddress < dwAddress1) dwAddress = dwAddress+dwAddress1; return (PCWSTR)dwAddress; }
    但是对于正在创建的进程,并不能如此。必须使用ObOpenObjectByPointer得到进程名柄,ObOpenObjectByPointer的原型如下:
    NTSTATUS ObOpenObjectByPointer( IN PVOID Object, // 进程的pEProcess IN ULONG HandleAttributes, IN PACCESS_STATE PassedAccessState OPTIONAL, IN ACCESS_MASK DesiredAccess, IN POBJECT_TYPE ObjectType, IN KPROCESSOR_MODE AccessMode, OUT PHANDLE Handle //此处将得到名柄);
    得到名柄后可进一步通过未微软未公开的函数ZwQueryInformationProcess 可得到进程的镜像路径。ZwQueryInformationProcess原型如下:
    NTSTATUS ZwQueryInformationProcess( IN HANDLE ProcessHandle, //传入进程句柄 IN PROCESSINFOCLASS ProcessInformationClass,// 指定此处为ProcessImageFileName OUT PVOID ProcessInformation,//此处得到进程镜像信息 IN ULONG ProcessInformationLength, OUT PULONG ReturnLength OPTIONAL);
    得到镜像路径、进程PID等信息后可通知应用层用进程创建,应用层便能迅速取得进程信息,从而可以对进程在未完全加载完成时处理,在进程监控中,应该有内核事件对象、驱动层与用户层、用户层与驱动层通信的知识,首先是内核事件对象。
    在内核中创建的事件对象,用户层只能读,不能给事件置信号,这多少给应用程序与驱动程序之间同步造成麻烦。
    在使用KEVENT 事件对象前,需要首先调用内核函数KeInitialize Event 对其初始化,这个函数的原型如下所示:
    VOID KeInitializeEvent( IN PRKEVENT Event, IN EVENT_TYPE Type, IN BOOLEAN State);

    第一个参数Event 是初始化事件对象的指针
    第二个参数Type 表明事件的类型,事件分两种类型:

    一类是“通知事件”,对应参数为NotificationEvent另一类是“同步事件”,对应参数为SynchronizationEvent
    第三个参数State 如果为TRUE,则事件对象的初始化状态为激发状态,否则为未激发状态。如果创建的事件对象是“通知事件”,当事件对象变为激发态时,需要我们手动将其改回未激发态。如果创建的事件对象是“同步事件”,当事件对象为激发态时,如果遇到相应的KeWaitForXXXX 等内核函数,事件对象会自动变回到未激发态

    设置事件的函数是KeSetEvent,可通过该函数修改事件对象的状态,这个函数的原型如下:
    VOID KeClearEvent( IN PRKEVENT Event);
    在本系统进程监控模块中,我采用的方案是在内核监视进程的创建和销毁,并且应用程序开启新线程一直等待驱动中创建的命名事件。
    在驱动层中,一旦检测到有进程进程的创建立即将事件对象置上信号, 这时应用层立即取得进程PID等信息,利用ZwSuspendProcess将进程挂起,从而可以对进程的信息进行进一步的检验,但是,ZwSuspendProcess是NTDLL.DLL中一个未导出的函数,在《Windows NT 2000 Native API Reference》中找不到其原型。我尝试过在驱动中申明NTSYSAPI的方法尝试利用其在内核层中挂起进程,可惜的是编译不能通过。
    当然在用户层中挂起线程与在内核层中挂起进程是没有差别的,于是采用了在用户态下挂起进程的方法。
    在用户态中使用未导出的内核函数,必须先将ZwSuspendProcess导出。导出.DLL内的函数方法之一是利用GetProcAddress ,这个函数的原型是:
    FARPROC WINAPI GetProcAddress( __in HMODULE hModule, __in LPCSTR lpProcName);
    传入的HMODULE的原型是:
    HMODULE WINAPI LoadLibrary( __in LPCTSTR lpFileName);
    于是通过下面两行代码可以将ZwSuspendProcess内核函数导出:
    HANLDE hdll=LoadLibrary(L"NTDLL.DLL");SuspendProcess=(pfsuspend)GetProcAddress(hdll, "ZwSuspendProcess");
    同时,还得利用相同方法将ZwResumeProcess函数导出,当然,必须得先申明函数原型。经过查阅《Windows System Call Table》,这两函数的原型如下(Nt与Zw系统函数完全相同):
    NTSYSAPI NTSTATUS NTAPI NtSuspendProcess( IN HANDLE Process);NTSYSAPI NTSTATUS NTAPI NtResumeProcess( IN HANDLE Process);
    使用OpenProcess传入PID即可得到进程句柄,将获得的进程句柄传入 ZwSuspendProcess/ZwResumeProcess 中即可实现进程的挂起与恢复。
    应用层传入信息的时候,可以使用WriteFile,也可以使用DeviceIoControl。
    DeviceIoControl是双向的,在读取设备的信息也可以使用。DeviceIoControl 函数会使操作系统产生一 IRP_MJ_DEVICE_CONTROL 类型的IRP,然后这个IRP 会被分发到相应的派遣例程中。因此在驱动入口函数中需要先设置 IRP_MJ_DEVICE_CONTROL 的派遣例程,如
    DriverObject->MajorFunctions[IRP_MJ_DEVICE_CONTROL] = MyDeviceIoControl;
    DeviceIoControl 函数的原型如下:
    BOOL DeviceIoControl( HANDLE hDevice, // handle to device DWORD dwIoControlCode, // operation LPVOID lpInBuffer, // input data buffer DWORD nInBufferSize, // size of input data buffer LPVOID lpOutBuffer, // output data buffer DWORD nOutBufferSize, // size of output data buffer LPDWORD lpBytesReturned, // byte count LPOVERLAPPED lpOverlapped// overlapped information);
    第二个参数dwIoControlCode,它是I/O 控制码,即IOCTL 值,是一个32 位的无符号整型数值。实际上DeviceIoControl 与ReadFile 和WriteFile 相差不大,不过它可以同时提供输入/输出缓冲区,而且还可以通过控制码传递一些特殊信息。IOCTL 值的定义必须遵循DDK 的规定,使用宏CTL_CODE 来声明,如下:
    #define MY_DVC_IN_CODE \(ULONG)CTL_CODE( FILE_DEVICE_UNKNOWN, \0x900, \ // 自定义IOCTL 码METHOD_BUFFERED, \ // 缓冲区I/OFILE_ALL_ACCESS)
    当然在应用DeviceIoControl时,应用程序应该与驱动程序包含相同的IOCTL定义,最好的方法是共享一个头文件,并且应用程序需要包含winioctl.h头文件。
    下为本系统危险进程主动防御模块的流程图

    3.3 监视注册表修改/创建原理注册表监视原理是通过HOOK_SYSCALL宏勾住ZwSetValueKey, 该宏定义如下:
    #define HOOK_SYSCALL(_Function, _Hook, _Orig ) \ _Orig = (PVOID) InterlockedExchange( (PLONG) \
    具体挂接语句为:
    HOOK_SYSCALL(ZwSetValueKey,HookZwSetValueKey,RealZwSetValueKey);
    其中ZwSetValueKey用于更新或者新建一个键值,它的原型如下:
    NTSTATUS ZwSetValueKey( IN HANDLE KeyHandle, IN PUNICODE_STRING ValueName, IN ULONG TitleIndex, IN ULONG Type, IN PVOID Data, IN ULONG DataSize);
    由于DDK文档中没有该函数,在驱动中使用它时必须申明其原型,方法如下:
    NTSYSAPI NTSTATUS NTAPI ZwSetValueKey( IN HANDLE KeyHandle, IN PUNICODE_STRING ValueName,// The name of the value to be set. IN ULONG TitleIndex, IN ULONG Type, IN PVOID Data, // Points to a caller-allocated buffer or variable that contains the data of the value. IN ULONG DataSize);
    HOOK_SYSCALL时,为了保存ZwSetValueKey 函数的真实地址在RealZwSetValueKey中,须定义一个与之类似的结构:
    typedef NTSTATUS (*REALZWSETVALUEKEY)( IN HANDLE KeyHandle, IN PUNICODE_STRING ValueName, IN ULONG TitleIndex OPTIONAL, IN ULONG Type, IN PVOID Data, IN ULONG DataSize);REALZWSETVALUEKEY RealZwSetValueKey=NULL;//初始化
    Hook ZwSetValueKey后,当应用层修改注册时,总会先进入我们挂接的函数HookZwSetValueKey,假若在HookZwSetValueKey函数中不再调用真实的ZwSetValueKey,那么应用层无法修改、创建注册表键键值。HookZwSetValueKey定义与ZwSetValueKey一致,如下:
    NTSTATUS HookZwSetValueKey( IN HANDLE KeyHandle, IN PUNICODE_STRING ValueName, IN ULONG TitleIndex OPTIONAL, IN ULONG Type, IN PVOID Data, IN ULONG DataSize);
    HookZwSetValueKey传入参数包含了将要修改的信息:ValueName指向了要修改的键名。
    在Win32 API中,管理内核对象是通过HANDLE,而在内核内部是通过Object来管理内核对象的。下面是Object属性结构:
    typedef struct _OBJECT_ATTRIBUTES { ULONG Length; //结构长度 HANDLE RootDirectory; //根目录 UNICODE_STRING *ObjectName; //Object的名称 ULONG Attributes; //属性 PSECURITY_DESCRIPTOR SecurityDescriptor;//安全描述符 PSECURITY_QUALITY_OF_SERVICE SecurityQualityOfService;} OBJECT_ATTRIBUTES,*POBJECT_ATTRIBUTES;
    我们感兴趣的是ObjectName成员,因为它包含了注册表名。
    但要想进一步得到要修改的键值则必须进一步通过ObReferenceObjectByHandle得到对象,这是一个在驱动开发中经常用到的函数,该函数原型如下:
    NTSTATUS ObReferenceObjectByHandle( IN HANDLE Handle, //此处传入HookZwSetValueKey的参数KeyHandle IN ACCESS_MASK DesiredAccess, IN POBJECT_TYPE ObjectType OPTIONAL, IN KPROCESSOR_MODE AccessMode, OUT PVOID *Object, //这里返回Object指针 OUT POBJECT_HANDLE_INFORMATION HandleInformation OPTIONAL);
    得到PObject后,理论上可以其通过获得键名信息,由于OBJECT_ATTRIBUTES是不公开的结构,不同操作系统可能不同。为了跨越不同的版本,这里采用未公开的内核函数ObQueryNameString,才能得到键名信息,至此,只得到了操作注册表方面的信息,因为还需得到是哪个进程引发的操作,进程名可通过当前进程偏移量方法获取,而进程的完整路径同样是通过一个自定义函数取得:
    PCWSTR GetCurrentProcessFileName() { DWORD dwAddress = (DWORD)PsGetCurrentProcess(); DWORD dwAddress1; if(dwAddress == 0 || dwAddress == 0xFFFFFFFF) return NULL; dwAddress += 0x1B0; if((dwAddress = *(DWORD*)dwAddress) == 0) return 0; dwAddress += 0x10; if((dwAddress = *(DWORD*)dwAddress) == 0) return 0; dwAddress1 = dwAddress;//2000 dwAddress += 0x3C; if((dwAddress = *(DWORD*)dwAddress) == 0) return 0; if (dwAddress < dwAddress1) dwAddress = dwAddress+dwAddress1; return (PCWSTR)dwAddress; }
    相关方面的信息获取成功后,下一步是检查这些信息,或者让用户决定是否执行这个操作,如果执行,在HookZwSetValueKey只需将传入的各参数原样交给真实的RealZwSetValueKey的处理即可,否则不交给真实RealZwSetValueKey处理,从而导致应用程度修改操作失败。
    由于应用层不能简单地通知驱动层的事件,所以本系统采用了双事件:驱动层通知应用层事件、应用层通知驱动层事件,其中应用层通知驱动层事件通过传递IOCTL ,驱动在IOCTL的派遣函数中设置事件。IOCTL定义如下:
    #define IOCTL_NTPROCDRV_SET_APPEVENT_OK CTL_CODE(FILE_DEVICE_UNKNOWN,0x0911, METHOD_BUFFERED, FILE_READ_ACCESS | FILE_WRITE_ACCESS)
    在驱动的派遣例程中KeSetEvent置信号方法如下:
    case IOCTL_NTPROCDRV_SET_APPEVENT_OK: { KdPrint(("放行!应用层通知驱动层的事件")); RegPass=1; //全居变量,通过,事件设置必须在后面 KeSetEvent(RegAppEvent,IO_NO_INCREMENT,FALSE); status=STATUS_SUCCESS;}break;
    下为本系统注册表主动防御模块的流程图

    3.4 监视文件修改/创建原理文件监视原理是通过HOOK_SYSCALL宏勾住ZwWriteFile, 该宏定义如下:
    #define HOOK_SYSCALL(_Function, _Hook, _Orig ) \ _Orig = (PVOID) InterlockedExchange( (PLONG) \
    具体挂接语句为:
    HOOK_SYSCALL(ZwWriteFile,HookZwWriteFile,RealZwWriteFile);
    ZwWriteFile用于向文件写入数据. 为了能成功挂接ZwWriteFile,与注册表监控相似,必须先申明其原型、Hook函数的原型、用于保存真实地址的RealZwWriteFile。
    NTSYSAPI NTSTATUS NTAPI ZwWriteFile( IN HANDLE FileHandle, IN HANDLE Event OPTIONAL, IN PIO_APC_ROUTINE ApcRoutine OPTIONAL, IN PVOID ApcContext OPTIONAL, OUT PIO_STATUS_BLOCK IoStatusBlock, IN PVOID Buffer, IN ULONG Length, IN PLARGE_INTEGER ByteOffset OPTIONAL, IN PULONG Key OPTIONAL);
    申明保存真实地址的RealZwWriteFile:
    typedef NTSTATUS (*ZWWRITEFILE)( IN HANDLE FileHandle, IN HANDLE Event OPTIONAL, IN PIO_APC_ROUTINE ApcRoutine OPTIONAL, IN PVOID ApcContext OPTIONAL, OUT PIO_STATUS_BLOCK IoStatusBlock, IN PVOID Buffer, IN ULONG Length, IN PLARGE_INTEGER ByteOffset OPTIONAL, IN PULONG Key OPTIONAL);ZWWRITEFILE RealZwWriteFile=NULL;
    申明Hook函数原型:
    NTSTATUS HookZwWriteFile( IN HANDLE FileHandle, IN HANDLE Event OPTIONAL, IN PIO_APC_ROUTINE ApcRoutine OPTIONAL, IN PVOID ApcContext OPTIONAL, OUT PIO_STATUS_BLOCK IoStatusBlock, IN PVOID Buffer, IN ULONG Length, IN PLARGE_INTEGER ByteOffset OPTIONAL, IN PULONG Key OPTIONAL );
    由于本软件不是做文件加密,因些目标是从传入HookZwWriteFile的参数中解析出进程名、进程完整路径、写入(新建)文件的完整路径。其中,进程名、进程完整路径与注册表监视中的原理相似,通过进程上下文和偏移量可获得。
    将要写入的文件的完整路径(以下称目标路径)获得需几步,首先通过传入的FileHandle句柄,使用ObReferenceObjectByHandle得到文件对象,ObReferenceObjectByHandle原型如下:
    NTSTATUS ObReferenceObjectByHandle( IN HANDLE Handle, //传入FileHandle IN ACCESS_MASK DesiredAccess, IN POBJECT_TYPE ObjectType OPTIONAL,//指定为*IoFileObjectType IN KPROCESSOR_MODE AccessMode, OUT PVOID *Object, //得到文件对象 OUT POBJECT_HANDLE_INFORMATION HandleInformation OPTIONAL);
    由于FileObject是一个没有被文档化的对象(This information class is not implementedby any of the supported file systems.),仅知道在文件对象中FileName域保存着部分目标路径,DeviceObject域保存着卷标信息,但是对于本系统这已经够用了。
    以”C:\windows\1.txt”为例,FileName这个UNICODE_STRING的Buffer中保存着“ \windows\1.txt”,经过转换后的卷标将保存着“C:”,使用的函数是IoVolumeDeviceToDosName,以下是函数原型:
    NTSTATUS IoVolumeDeviceToDosName( IN PVOID VolumeDeviceObject, //传入((PFILE_OBJECT)fileobj)->DeviceObject OUT PUNICODE_STRING DosName //得到卷标);
    文件监控做为本系统的一个辅助模块,主要监视的操作系统内进程的文件操作行为,是必需的一个模块,病毒的破坏操作系统的时,往往伴随着文件的释放与生成,例如木马下载者,本身可能无毒,但是后期可以从网上下载其它木马,再比如本机中了蠕虫后,exe大面积感染必然是对各文件进行了写入操作,通过文件监控即可检测到这种行为。同时,能过文件监控,在查打出木马之后,可以对其“同伙”一伙打尽,下图是本系统文件监控的流程图:

    3.5 内存映射监控原理内存监视原理是通过HOOK_SYSCALL宏勾住ZwCreateSection, ZwCreateSection用于routine creates a section object.Hook方法与上类似。该函数原型为:
    NTSYSAPI NTSTATUS NTAPI ZwCreateSection( OUT PHANDLE SectionHandle, IN ACCESS_MASK DesiredAccess, IN POBJECT_ATTRIBUTES ObjectAttributes OPTIONAL, IN PLARGE_INTEGER MaximumSize OPTIONAL, IN ULONG SectionPageProtection, IN ULONG AllocationAttributes, IN HANDLE FileHandle OPTIONAL//此处包含文件路径信息 );
    其中最后一个参数FileHandle句柄中包含有目标文件的路径信息,与文件监视原理相同,使用ObReferenceObjectByHandle得到文件对象,在FileObject中可进一步取得文件路径与卷标。进程名可通过当前进程偏移量方法获取,进程的完整路径同样是通过一个自定义函数取得,以上原理中已多次提到。
    一个程序得以运行必然要经过内存映射,勾住ZwCreateSection可以拦截记录风险程序的行为,与注册表监控模块、文件监控模块、进程监控模块共同组成完整的程序行为监控系统。
    以下是本系统内存加载监控的流程图

    3.6 云安全模块原理“云安全(Cloud Security)”计划是网络时代信息安全的最新体现,它融合了并行处理、网格计算、未知病毒行为判断等新兴技术和概念,通过网状的大量客户端对网络中软件行为的异常监测,获取互联网中木马、恶意程序的最新信息,传送到Server端进行自动分析和处理,再把病毒和木马的解决方案分发到每一个客户端。
    未来杀毒软件将无法有效地处理日益增多的恶意程序。来自互联网的主要威胁正在由电脑病毒转向恶意程序及木马,在这样的情况下,采用的特征库判别法显然已经过时。云安全技术应用后,识别和查杀病毒不再仅仅依靠本地硬盘中的病毒库,而是依靠庞大的网络服务,实时进行采集、分析以及处理。整个互联网就是一个巨大的“杀毒软件”,参与者越多,每个参与者就越安全,整个互联网就会更安全。
    本系统云安全模块分成服务器,客户端两块。
    服务器采用windows+apache+php+mysql架构,复责返回客户端查询文件信息,处理客户端上传的可疑文件。
    客户端集成在本系统中,可获取文件名、文件详细路径、文件MD5、文件签名等信息,在必要的情况下以这些信息向服务器查询验证信息,并且在客户机允许的情况下自动上传可疑文件,让服务器处理并且反馈结果。
    同时客户端也会将众多用户处理程序行为的信息传至服务器,服务器经过统计分析,可更新各客户机上的规则,实现云规则。
    下图为云模块原理:

    3.7 规则动态加载原理本系统规则存储于一access数据库文件中,程序运行时将从数据库文件初始化规则,规则在程序中是以几条STL中的双向链表(LIST)实现的。
    在规则未经修改时,避免了多次查询数据库而耗时浪费资源。当本系统模块修改、删除数据库时,保存着规则的双向链表将会更新,实现了规则的动态更新。
    下图为规则动态更新原理图:

    4 性能与测试4.1 测试环境本系统的测试环境为:

    VMware 6.0
    Windows XP SP3
    驱动级云安全主动防御
    迅雷
    木马
    等等

    4.2 进程监控测试
    测试项目:测试本系统是否能够有效监控进程创建
    测试工具:驱动级云安全主动防御、记事本程序、SRVINSTW.EXE(病毒)
    测试过程:

    开启本系统进程监控运行”记事本” 程序将”记事本” 程序行为加入白名单,再次运行运行SRVINSTW.EXE(病毒)将SRVINSTW.EXE(病毒)行为加入黑名单,再次运行
    结果及分析如下所示:

    下图为在部署了本系统的主机上打开桌面” 新建 文本文档.txt”时, ” 新建 文本文档.txt”并没有被打开,而是弹出了本系统的用户确认对话框,在云安全模块已经开启的情况下,系统自动联网查询该文件信息,在行为描述一栏有提示“windows自带记事本,该程序是安全的”,用户点击”放行一次”, ” 新建 文本文档.txt”将被打开;用户点击”我认识它,永久放行”, 以后打开记事本程序将都不再提醒。

    下图为把本次程序行为加入白名单,即始终允许本程序启动。

    加入白名单后,再次打开桌面”新建 文本文档.txt”,本系统不再弹出提示信息框,”新建 文本文档.txt”被直接打开,如图:

    此时桌面有一病毒文件SRVINSTW.EXE,在云安全模块已经开启情况下,双击打开,系统将自动联网查询该文件信息,进程打开被阻塞,本系统弹出用户确认对话框,在行为描述一栏有提示“该程序为病毒,请谨慎运行!”,用户选择“禁止一次”,该程序被阻止运行;用户选择“这个很危险,永久禁止”,将自动添加黑名单规则,该程序被阻止运行。如下图:

    用户选择“禁止一次”,进程结束。接着将此进程信息加入黑名单:

    再次双击桌面图标,双击后没有反应,从进程监控主页面拦截信息可知,该程序还没完全开启时已经被主动防御进程结束了。


    从实验结果可以看出,本系统能成功拦截进程创建,在云安全模块和用户维护的规则下能成功阻击病毒的运行。
    4.3 注册表监控测试
    测试项目:测试本系统是否能够有效监控注册表创建、修改
    测试工具:卓然驱动级云安全主动防御、迅雷、DAEMON Tools(虚拟光驱软件)
    测试过程:

    开启本系统注册表监控功能,运行迅雷,运行DAEMON Tools修改迅雷配置,设置“开机启动迅雷”,并放行一次将修改“开机启动迅雷”程序行为加入白名单,再次修改“开机启动迅雷”修改DAEMON Tools开机启动,并拒绝一次将修改DAEMON Tools开机启动行为加入黑名单,再次修改DAEMON Tools开机启动,查看结果
    结果及分析如下所示:

    打开迅雷,配置迅雷,勾选“开机启动迅雷”, 如图:

    本系统立即暂停该操作,并且弹出对话框,请求用户确认是不是要进程该操作,在云安全模块开启的情况下,行为描述一栏会从网络获取该行为的信息,此处为“迅雷开机启动”,如图:

    若此时选择“放行一次”,修改行为将生效;选择“相同一直放行”,修改行为将生效,且以后相同行为不再提醒;选择“禁止一次”,修改请求将被拒绝;选择“相同一直禁止”,修改请求将被拒绝,且以后相同行为不再提醒,直接拒绝。
    测试时选择“放行一次”,再次打开迅雷的配置,可见修改已经成功。

    接着,把迅雷添加启动项行为加入白名单规则,如图:

    再次打开迅雷,修改配置,去掉“开机启动迅雷”前的勾,点击确认,本系统没有弹出确认对话框,修改生效。
    打开DAEMON Tools,修改DAEMON Tools开机启动,如图:

    并且弹出对话框,请求用户确认是不是要进程该操作,在云安全模块开启的情况下,行为描述一栏会从网络获取该行为的信息,此处为“daemon.exe添加启动项可能影响您电脑的开机速度”,如图:

    因为该行为可能影响开机速度,测试时选择禁止一次,拒绝该操作,daemon.exe弹出修改注册表出错,即修改启动不成功,如图:

    将DAEMON Tools添加开机启动行为加入黑名单,如图:

    再次修改DAEMON Tools开机启动,本系统没有弹出确认对话框,DAEMON Tools直接报错,修改不成功,如图:

    4.4 文件监控测试
    测试项目:测试本系统是否能够有效监控文件修改/创建
    测试工具:卓然驱动级云安全主动防御、记事本程序
    测试过程:

    开启本系统文件监控在桌面新建一文本文档,任意写入文本信息,保存。查看结果修改本系统注册表规则,保存。查看结果
    结果及分析如下所示:

    在桌面新建一文本文档,任意写入文本信息,回到本系统文件监控模块,查看信息如下:

    由文件监控信息可知,explorer.exe先创建了“最近打开文件”的链接,接着notepad.exe修改了桌面“新建 文本文档.txt”,完整地记录了修改文件信息。
    在注册表监控测试时,由于本程序需要修改数据库记录,查看文件监控信息,此行为也记录了下来,如图:

    文件监控在新建或修改.exe/.dll/.sys等可执行文件时,在云安全模块开启的情况下,能向服务器验证MD5、签名、文件名等信息,保证不被下载者等木马从网络下载有害程序破坏系统。
    此外,在有蠕虫感染系统时,同一进程将对系统众多可执行文件感染,必然要有打开的修改操作,在文件监控功能与监控中心的配合下,能在早期就察觉出这种危险行为,进而阻止。
    4.5 内存加载监控测试
    测试项目:测试本系统是否能够有效监控内存加载
    测试工具:卓然驱动级云安全主动防御、记事本程序,
    测试过程:

    开启本系统内存加载监控在桌面新建一文本文档,任意写入文本信息,保存。查看结果停止本系统进程监控服务,再次启动,查看结果
    结果及分析如下所示:

    停止本系统进程监控服务,并再次启动,查看内存加载信息,由加载信息可看出,本系统的进程监控服务服务加载时需要一个名为ProcMon.sys加载进入内存,如图:

    在桌面新建一文本文档,任意写入文本信息,回到本系统内存加载模块,查看信息如下:

    从内存加载信息中,可以查看notepad.exe进程加载时哪些文件映射进入了内存,得到结果后可进一步处理。
    在云安全模块开启的情况下,本系统会自己向服务器验证加载进入内存的文件信息,与其它模块相互配合,可将病毒及期衍生物一网打尽。
    参考文献[1] Mark E.Russinovich, David A.Solomon .深入解析Windows操作系统. 电子工业出版社, 2007年6月.
    [2] 张帆.Windows驱动开发详解.电子工业出版社.2008年2月.
    [3] 张静盛.windows编程循序渐进. 机械工业出版社. 2008年6月.
    [4] Jeffrey Richter.WINDOWS核心编程. 清华大学出版社. 2008年9月
    [5] 谭文,杨潇,邵坚磊.寒江独钓—Windows内核安全编程.电子工业出版社.2009.6
    [6] 谭文,邵坚磊.天书夜读—从汇编语言到windows内核编程.电子工业出版社.2009.3
    [7] Greg Hoglund/James Butler .RootKits――Windows内核的安全防护. 清华大学出版社. 2007.4
    [8] liuke_blue.黑客防线.再论进程防火墙.200809
    [9] SVEN B. SCHREIBER .Undocumented Windows 2000 Secrets
    [10] Windows NT 2000 Native API Reference
    +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++经过站内管理员的致电联系教育,听说有人投诉我了,在此声明:这个软件不是我写的,我只是网络的搬运工!!!
    资源是我很早之前从CSDN上下载的,下载自:https://download.csdn.net/download/doomlord/4071653+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
    3 评论 9 下载 2018-11-06 18:48:31 下载需要12点积分
  • 基于Python和PyQt5库实现的面向英文文献的编辑与检索

    1 分析1.1 需要完成的功能1.1.1 基本要求
    设计图形界面,可以实现英文文章的编辑与检索功能
    编辑过程包括:

    创建新文件;打开文件;保存文件查找:输入单词在当前打开的文档中进行查找,并将结果显示在界面中替换:将文章中给定的单词替换为另外一个单词,再存盘等
    对于给定的文章片段(30<单词数量<100),统计该片段中每个字符出现的次数,然后以它们作为权值,对每一个字符进行编码,编码完成后再对其编码进行译码。在 图形界面中演示该过程
    对于给定的多篇文章构成的文档集中,统计不同词汇的出现频率,并进行排序,在界面中显示 TOP 20 的排序结果
    对于给定的多篇文章构成的文档集中,建立倒排索引,实现按照关键词的检索,并在界面中显示检索的结果(如:关键词出现的文档编号以及所在的句子片段,可以将关键词高亮显示)

    1.1.2 扩展要求
    界面设计的优化
    对于编码与译码过程,可以自行设计其他算法
    扩展检索:例如,可以实现多于 1 个关键词的联合检索,要求检索结果中同时出现所有的关键词
    优化检索,对于检索结果的相关性排序,例如:包含关键词的数量等信息为依据
    可以自行根据本题目程序的实际应用情况,扩展功能

    1.2 需要处理的数据1.2.1 英文文本多个 txt 文档的导入,主要是文件路径,然后对文档中的内容进行处理。 首先读取文本。然后统计单词、字符的频率以及位置,生成索引;或者直接进行查找等功能。
    1.2.2 用户输入的字符串有多个功能需要用户输入字符串,比如创建新的文档需要命名、搜索单词、修改文档、 在文档中替换内容。
    1.2.3 网络爬取的信息从网站上爬取单词翻译信息,包括 HTML 页面。
    1.2.4 选择的文档信息用户通过“导入文件”,通过窗口选择并导入文档。
    1.3 程序开发运行选用的环境
    操作系统

    版次:Windows 10 家庭中文版版本:1709 OS 内部版本:16299.125
    语言

    Python 3.6.3


    PyQt5==5.9.2 bs4==0.0.1 six==1.11.0 requests==2.18.4

    1.4 用户界面的设计使用 PyQt5 库设计用户界面;主要窗口及功能如下: main:进入程序的 MainWindow,用来导入文件、搜索关键字等。

    item:从 main 进入。主体为显示文章的文本框,同时有多个功能按钮。

    1.5 主要流程图
    2 数据结构设计2.1 所定义主要的数据结构2.1.1 Python 内置结构
    list进行列表建立,以及一些需要排序的操作,其他大部分数据结构无法排序,需要先转化成 list,做排序再考虑转化回去(较麻烦),或者直接进行操作。用[]表示 。
    dict进行词典建立,使用键-值(key-value)存储,具有极快的查找速度,用于在不同目录下查找文本,不同文本下查找单词位置的功能,用牺牲空间的方式加快查找速度。用{}表 示。
    tuple与列表一样,也是一种序列,唯一不同的是元组不能被修改。用()表示。

    2.1.2 哈夫曼树给定 n 个权值作为 n 个叶子结点,构造一棵二叉树,若带权路径长度达到最小,称这样的二叉树为最优二叉树,也称为哈夫曼树(Huffman Tree)。哈夫曼树是带权路径长度最短的树,权值较大的结点离根较近。
    本次构建的哈夫曼树的权值是文章中出现的所有字符的频率。并由此生成每个字符的编 码,频率越高,其叶子结点距根越近,对应的编码也就越短。
    2.1.3 索引结构构建的索引,用来更快更方便的搜索单词或统计频率。利用 Python 本身的 dict, list 以及 tuple 建立索引,结构如下:
    [(文件地址 1, [{'word': 单词 1, 'pos': [位置下标]}, {'word': 单词 2, 'pos': [位置下 标…]},…]), (文件地址 2, [{'word': 单词 1, 'pos': [位置下标]} , {'word': 单词 2, 'pos': [位置下 标…]},…]),…]
    2.2 程序整体结构以及各模块的功能描述
    main.py:总的 main 启动文件
    img.py:资源文件。图片转为文本格式,以便于程序的封装
    KMP.py

    def get_next(p):寻找前缀后缀最长公共元素长度,计算字符串 p 的 next 表def kmp(s, p):核心计算函数,返回字符串 p 的位置下标def positions(string, pattern):查找 pattern 在 string 所有的出现位置的起始下标def count(string, pattern):计算 pattern 在 string 的出现次数
    Huffman.py

    class Node:
    def __init__(self, freq):初始化属性 left, right, father, freqdef isLeft(self):返回该节点是否是父节点的左节点
    def create_Nodes(freqs):根据频率表创建叶子结点def create_Huffman_Tree(nodes):根据频率大小,使用队列创建哈夫曼树def Huffman_Encoding(nodes, root):用哈夫曼树生成哈夫曼对照表def cal_count_freq(content):计算字符频率def cal_Huffman_codes(char_freqs):整合上述 functions
    File.py

    def search(files, keyword):用 KMP 算法搜索计算所有传入的文件中 keyword 的数量,返回有序的文件及数量列表def cal_words_freq(files, reverse=True):用 KMP 算法搜索计算所有传入的文件中所有单词各自的数量,返回有序的文件及单词列表及数量def cal_words_freq(files, reverse=True):用 KMP 算法搜索计算所有传入的文件中所有单词各自的数量,返回有序的文件及单词列表及位置class File:
    def __init__(self, file_pos):初始化函数,传入文件路径作为属性def get_content(self):获得文件内容def set_content(self, content):将文件内容修改为 contentdef get_huffman_codes(self):统计文件内容中 word 出现的次数def get_huffman_codes(self):获得哈夫曼编码表def get_encodeStr(self):获得文件内容通过哈夫曼编码表编码后的字符串def get_decodeStr(self, huffmanStr):通过哈夫曼编码表将编码转换成原字 符串

    SplashScreen.py

    class SplashScreen:
    def __init__(self):继承 PyQt5.QtWidgets.QSplashScreendef effect(self):启动页的渐隐渐出特效

    main_UI.py

    class UI:
    def __init__(self):构造函数,将属性 search_status 和 freqs 初始化def init(self):设置事件触发def add_files(self):调用 PyQt5 的 FileDialog 选择要添加的文件def about(self):“关于”窗口def create_file(self):创建文本文档,并添加文件def cal_words_freqs(self):使用索引,统计词频并生成显示降序列表def load_package(self):读取索引def packaging(self):生成索引文件。使用 six 库中 pickle 打包成二进制文件def clear_list(self):清空文件列表def get_research_content(self):获得用户输入的需要检索的内容def get_files_from_table(self):获得当前文件列表def creat_tableWidget(self, files, nums=[], poss=[]):在 GUI 中生成列表及相关信息def closeEvent(self, event):窗口关闭时出发的关闭事件def search(self):根据索引查找多个单词或词组,并显示频率及位置信息def buttonClicked(self):debug 所用,在底部状态栏显示相关信息def itemClicked(self, row, col):文件表单项目点击事件,打开新的 item 窗口

    item_UI.py

    class item_UI
    def __init__(self, file_pos, keyword=None):初始化,将属性 file 初始化为file_pos,同时高亮 keyworddef init(self, keyword, filename):连接按钮点击事件def highlight(self, pattern, color=”yellow”):将所有 pattern 做黄色高亮处理def hightlight_specific(self, pos=(0, 0), color=”gray”):按位置高亮def encode(self):调用 self.file.get_encodeStr()显示编码def decode(self):调用函数进行译码def huffman_codes(self):显示哈夫曼编码表def edit(self):将文本框控件变为可编辑def save(self):将文本框中的文本保存到文件中def search_substitute(self):打开新窗口,查找或替换def translate(self):翻译所选文本

    about_UI.py:“关于”窗口
    freq_UI.py:显示表单的窗口。用来显示词频统计
    huffman_UI.py:显示表单的窗口。用来显示哈夫曼表
    file_UI.py:用来选择文件的窗口
    create_file_UI.py:新建文档的窗口
    progressbar_UI.py:进度条窗口
    search_UI.py

    class search_UI:
    def __init__(self, item_ui):构造函数def init(self):连接按钮事件def prepare(self):计算所有用户查询的单词的位置信息def next_word(self):高亮下一个搜索结果def count(self):计数def substitute(self):替换当前高亮的一个结果def substitute_all(self):替换所有符合条件的结果


    3 详细设计3.1 构造哈夫曼树
    3.2 KMP 算法3.2.1 获取 next 表
    3.2.2 文本匹配
    3.3 UI 设计3.3.1 主界面搜索多个单词和词组

    创建索引

    3.3.2 item 窗口
    查找下一个

    翻译功能

    显示哈夫曼编码表

    4 总结与提高当我刚拿到题目要求的时候,我的内心是抗拒的——需要自己完成哈夫曼编码(包括统计词频,建立哈夫曼树,根据哈夫曼树计算对应的编码),KMP 算法(之前只是听说过,完全不清楚原理及算法),而且这一切都需要用图形用户界面来展现出来,于是只能硬着头皮上了。
    最开始时,我决定从数据结构和算法入手,先不管图形界面。于是开始在网上学习 KMP 算法的原理及步骤。在和同学讨论的过程中,我们慢慢地结合着资料把代码写了出来,并测试了与传统算法的速度对比,很有成就感。
    然后是哈夫曼树。这部分相对简单,因为其原理我们已经在上学期的课程中接触过,所以主要的时间都用来写代码。过程很顺利,达到了理想结果。
    到了最麻烦的图形界面部分,开始时我本想使用 wxpython 库来实现,但在简单的了解 过后,我发现这个库的更新情况不是很理想,尤其是它的 designer 和库的版本不同步,designer 生成的代码甚至直接运行会报错,于是我放弃了,转向更为成熟的、跨平台的 PyQt5。早就 听说过 Qt 的大名,终于有机会使用下了。最开始遇到的问题,每个程序进程只能运行一个 MainWindow 类,在不知道的情况下打开多窗口一直报错,后来得以解决。随之而来的是文本的高亮问题,后来查到的方法是在文本框中控制虚拟光标选中目标然后更改其格式,已达到高亮的效果。
    在完成大部分功能要求后,我开始想其他扩展功能。翻译功能是个很棒的想法。起初, 我想建立本地的词典资源文件,通过索引或二分法进行查找,但后来发现很难找到好用的文本词典资源。于是转而使用爬虫进行翻译,还好效果不错,只是需要联网。
    另一个扩展功能本来是想做通过自然语言识别来对文本进行一些情感分析或者全文概括,但在查阅部分资料后发现很难实现。首先,文本本身多为记叙文,很长且情感并不明显, 其次需要的类似的数据集几乎找不到,所以最终放弃了这个想法。
    最后是将整个程序封装成 Windows 下运行的 exe 应用程序,使用了 pyinstaller 库。过程很简单,只需要在命令行进行一些操作就好了。
    在整个编写课设的过程中,主要学习了 PyQt5 的使用,对于以后编写简单的图形用户界 面非常有帮助。复习巩固了哈夫曼树的创建。学习了 KMP 这种字符串匹配的算法。同时我对于 Python 的使用也更加熟练。
    对于自己完成课设情况的评价呢,我觉得我完成的还是不错的(哈哈哈)。虽然从美观方面来讲很一般,但是功能的实现以及代码的结构还是可以的,基本功能和扩展功能基本都做到了,后期的 Bug 调试也基本保证了正常使用过程中程序不会报错崩溃。如果要改进的话,可能更多会把注意力放在如何把各种功能的表现形式变得更美观。
    非常感谢这种独自完成整个项目的机会,各方面都有所提升,也很有成就感。能看着整个程序跑起来还是非常爽的!
    0 评论 9 下载 2018-12-13 09:26:53 下载需要9点积分
  • 基于VC++实现的Windows平台逆向调试器

    前 言程序不是写出来的,而是调出来的!回忆学生时代写程序的时候,遇到 bug 往往很无奈,常常是把程序从头到尾看一遍,或者是在一些关键的地方,觉得会出错的地方,printf一下,来判断是不是这里出错了。曾经还觉得这个方法不错,沾沾自喜呢。
    后来工作后,或多或少要调一些程序,但是总觉得不得要领。 所以我觉得无论是软件逆向工程的研究者还是开发人员,都有必要自己实现一个调试器,当你的调试器完成的时候,或许你对软件调试会有一种顿悟的感觉。
    而且可以根据自己的需要,写一个适合自己的调试器,对于逆向或者调试程序来说,都会得心应手,而且还可以过针对某些调试器的反调试哦!
    因鄙人没有天马行空的创意,亦没有巧夺天工的技术!所以调试器设计得也有很多不足,但也略有心得,故拿出来,与大家分享之,希望能帮助到有需要的人。
    由于本人能力有限,文中必然有错漏之处,恳请读者不吝赐教。
    第一章 调试器框架1.1 框架的搭建有写过Windows程序的人都知道Windows是基于消息的,当程序创建,窗口移动,键盘按下等,窗口过程函数都会收到消息,然后根据消息做相应的处理。其实调试器也是这样的,在 MSDN 中已经给出了一个现成的框架了,如下,我已经去掉部分注释了,如果想获得祥细信息的话可以查下 MSDN。
    DEBUG_EVENT DebugEv; // debugging event information DWORD dwContinueStatus = DBG_CONTINUE; // exception continuation for(;;) { // Wait for a debugging event to occur. The second parameter indicates // that the function does not return until a debugging event occurs. WaitForDebugEvent(&DebugEv, INFINITE); // Process the debugging event code. switch (DebugEv.dwDebugEventCode) { case EXCEPTION_DEBUG_EVENT: // Process the exception code. When handling // exceptions, remember to set the continuation // status parameter (dwContinueStatus). This value // is used by the ContinueDebugEvent function. switch (DebugEv.u.Exception.ExceptionRecord.ExceptionCode) { case EXCEPTION_ACCESS_VIOLATION: case EXCEPTION_BREAKPOINT: case EXCEPTION_DATATYPE_MISALIGNMENT: case EXCEPTION_SINGLE_STEP: case DBG_CONTROL_C: } case CREATE_THREAD_DEBUG_EVENT: case CREATE_PROCESS_DEBUG_EVENT: case EXIT_THREAD_DEBUG_EVENT: // Display the thread's exit code. case EXIT_PROCESS_DEBUG_EVENT: // Display the process's exit code. case LOAD_DLL_DEBUG_EVENT: // Read the debugging information included in the newly // loaded DLL. case UNLOAD_DLL_DEBUG_EVENT: // Display a message that the DLL has been unloaded. case OUTPUT_DEBUG_STRING_EVENT: // Display the output debugging string. } // Resume executing the thread that reported the debugging event. ContinueDebugEvent(DebugEv.dwProcessId, DebugEv.dwThreadId, dwContinueStatus); }
    Windows 提供了一些 Debug API,他们已经实现了一般调试器所需的大部分功能,通过现有的框架和Windows提供的API我们可以很容易的搭建起一个调试器的框架出来。
    1.2 调试事件种类
    1.3 调试事件处理通过对上面几个事件的处理,基本可以实现我们的调试器了。当我们创建一个调试进程后,调试器会收到 CREATE_PROCESS_DEBUG_EVENT 事件,在这里我们做一些PE解析工作,比如取得OEP等等,然后在OEP处下一个Int3 断点,处理完之后,将调用ContinueDebugEvent函数来继续线程的运行,这里要注意,这个函数的 dwContinueStatus 有二个取值,DBG_CONTINUE 和DBG_EXCEPTION_NOT_HANDLED,如果这个异常我们可以处理则取DBG_CONTINUE , 否 则 取 DBG_EXCEPTION_NOT_HANDLED 。DBG_EXCEPTION_NOT_HANDLED 则告诉操作系统,我的程序不能处理这个异常,给你处理,然后操作系统再问下调试进程能不能处理,如果不能的话,直接给干掉。
    同时还有一点要注意,当创建一个调试进程的时候,系统会先调用一次DebugBreak 函数,我们只要判断一下是不是系统调用的,是的话无视掉就行了。
    接着调试器再调用WaitForDebugEvent函数等待调试事件的发生,直到接收到EXIT_PROCESS_DEBUG_EVENT事件时结束。
    第二章 内存断点2.1 问题的提出与分析2.1.1 问题提出因为内存断点是调试器的一个难点,所以我们这里放在最前面讲,这样也可以避免在后面的设计中一些组合问题的产生。
    一个内存分页可能会存在多个断点,一个断点可能会跨多个内存分页。某个内存分页可能不具有用户要设的断点属性。某内存分页具有读与写的权限,但是用户只下了写的断点,如果将读的权限也一起拿掉,程序在读那块内存分页也要断下来,这样将大大的降低程序的效率,如何优化,以及断点信息与内存信息的存储。
    2.2 问题的解决2.2.1 内断断点与内存分页的关系一个内存分页可能会存在多个断点,一个断点可能会跨多个内存分页。这个不由的让我们想起第一阶段的学生管理系统(一个学生可以选任意门课程,一门课程可能有任意个学生选)。其实二者的关系是一样的,因为是多对多的关系,所以我们要构造出第三张表来管理他们的关系。
    为了检测用户下断点有效性等问题,在下断点的时候取得那个内页分页信息,判断地址是否有效,然后再判断是否具有要断下来的属性。对一个没有读属性的内存分页下读断点是无效的。
    为了提高效率,中间表用了二个,一个是以内存页序号为主键,一个是以断点序号为主键,使用动态邻接表(长度自动增长)存储,这样可以提高程序的处理速度。当调试器收到异常信息,首先取得产生异常的地址,以及错误编码,再通过异常地址取得内存页的序号,再通过内存页的序号去邻接表里查他有多少个断点,如果当前有内存断点的话,恢复内存页原属性,然后再判断当前位置是否处于用户设的断点地址内,是的话,处理用户的请求,最后设单步,在单步中再将内存页的属性设成新的属性。
    添加内存断点流程图如下所示:

    处理异常流程图如下所示:

    内存断点本来就是一件很耗资源的,为了最大的提升效率,当处理某内存分页具有读写的权限,而用户只下读或写的权限的这类情况,我们可以通过对原属性的分析,然后再减去用户新的属性,再根据结果生成新的属性,因为移除某个属性,并不能单单的通过去除某个位而完成。
    相关记录项的结构:

    内存页与断点关系表(邻接表):

    第三章 int3 断点与硬件断点3.1 问题的提出与解决3.1.1 问题提出如何实现软硬件断点?如何判断用户断点的正确性?如何提高效率?
    3.2 问题的解决3.2.1 Int3断点的实现8086/8088 提供断点指令Int3 和单步标志TF,调试工具利用它们可以设置断点和实现单步。从 80386 开始,在片上集成了调试寄存器。利用这些调试寄存器不仅可以设置代码执行断点,而且还可以设置数据访问断点,不仅可以把断点设置在RAM 中,也可以把断点设置在ROM 中。
    Int3 是Intel系列 CPU专门引入的用于表示中断的指令,对于Int3 断点,常见的做法是在用户要下断点的地方,将指令替换成CC,当调试程序运行到 CC 处,调试器将会收到EXCEPTION_BREAKPOINT消息,然后在这里将原CC处的代码还原及 EIP 减一再处理用户的请求。用 Int3 的好处很明显,可以设任意多个断点,缺点是改变了程序的原指令,容易被软件检测到,而且这里可能会遇到一个问题,当用户在某个内存分页设了一个不可读、不可写的断点,这时调试器是无法将CC 写进去的,也无法将原来的指令读出来。所以在设之前,我们先将目标内存页的属性设为可读可写的,设完之后再将内存页置为新的属性(移除了用户断点权限的新属性),这个开销是非常大的。
    本程序中,对于用户断点的正确性检测只做了如下判断,首先是判断用户的断点是否是处于有效的内存分页内,然后再判断是否重复,同一个内存地址,只能设一个断点,而对于Int3 断点和硬件执行断点并没有判断是否处于指令起始处。
    当初的设想是被调试程序跑起来的时候,将被调试程序的指令全部解析一下,然后取得每条指令的正确起始位置,添加到树中,然后用户在下 Int3 断点的时候,再判断一下下的断点是否处于指令的首地址处。后来请教了一下老师以及查看windbg 等同类软件,发现也没有做这类的检测,同时分析觉得此弊大于利,所以放弃了这种做法,程序中并没有检测。
    3.2.2 硬件断点的实现 80386和80486都支持6个调试寄存器,如图:

    他们分别是 DR0、DR1、DR2、DR3,调试状态寄存器 DR6 和调试控制寄存器DR7。这些断点寄存器都是32位寄存器。
    Dr0~3 用于设置硬件断点的线性地址,也就是断点位置,产生的异常是STATUS_SINGLE_STEP 。这些寄存器长 32 位,与 32 位线性地址长度相符,处理器硬件把执行指令所涉及的线性地址和断点地址寄存内的线性地址进行比较,判断执行指令是否触及断点。与 Int3 不同的是,硬件断点不仅可以设置在RAM 中,也可以设置在ROM 中,且速度比Int3 更快。
    Dr7 是一些控制位,用于控制断点的方式。其中有四个GiLi,分别对应四个断点,Gi、Li控制DRi所指示的断点i在断点条件满足是,是否引起异常。
    Gi 和 Li 分别称为全局断点允许位和局部断点允许位。在任务切换时,处理器清各 Li 位,所以 Li 位只支持一个任务范围内的断点,任务切换并不影响 Gi位,所以Gi支持系统内各任务的断点。
    R/Wi分别对应四个DRi,R/Wi字段指示DRi断点信息的类型。每一个R/W占两位,所表示的类型为:

    LENi字段指示DRi断点信息的长度,每一个LENi占两位。所表示的长度如下:

    注意: 指令执行断点的断点长度必须为 1 字节,数据访问的断点长度可以是 1、2、4 字节。
    Dr6 用于显示是哪些引起断点的原因,如果是 Dr0~3 或单步(EFLAGS 的TF)的话,则相应设置对应的位。
    Bi表示由DRi所指示的断点引起的调试陷阱。
    对于 DR7 的设置,原本程序中是使用位移来完成的,但是调试的时候非常之不方便,所以后来改用结构体了。结构体的定义如下:

    3.2.3 对于int3断点的优化当设int3 断点的时候,判断一下当前调试寄存器有没有空闲的,有的话则优先使用调试寄存器,因为 int3 断点涉及内存分页属性,读目标进程内存,写目标进程,而硬件断点只需设调试寄存器,这样可以大大的提高效率。
    第四章 函数名的解析4.1 问题的提出与分析4.1.1 问题的分析最初对于这个问题处理的想法就是分析被调试程序的导入表,后来和同学讨论,发现这样不能解决问题,因为 API 里可能还调用了别的 API,再跟进 API的话,程序就不能正确解析函数名了!
    据说Windows有上万个API,如何组织这些数据,如果提高查询的效率、以及最大化的合理使用空间。
    4.2 问题的解决4.2.1 函数名与函数地址的组织用一个链表用来存储已经加载的 DLL的名字已及当前状态。为了提高查询的效率,同时记录DLL名字的CRC值,当查找时,算出要查找的DLL名的CRC值,再直接查找通过CRC值查找,当 CRC值相同时,再用字符串比较是否完全相等,当加载DLL比较多的时候,或者经常要查询的话,这样可以大大的提升的效率。
    同时用红黑树记录函数名地址(函数名在被调试进程里面的地址)以及函数的绝对地址(基址加偏移后的真实地址)。
    红黑树并不追求“完全平衡”——它只要求部分地达到平衡要求,降低了对旋转的要求,从而提高了性能。红黑树能够以O(log2 n) 的时间复杂度进行搜索、插入、删除操作。此外,由于它的设计,任何不平衡都会在三次旋转之内解决。
    4.2.2 函数名的显示在我的设计中,使用的是 OD的反汇编引擎,结构体中有记录命令的类型,首先判断他是不是call、jmp 这类的指令,然后再根据相应的值,找出API的地址,再判断目标地址是否是 API 函数的地址,是的话则从本地加载 DLL 链表中取得DLL名字,然后再通过函数名地址去调试进程中取得函数名(在程序中,并没有申请空间保存函数名,因为导出函数可能非常之多,不停的申请空间,然后字符串拷备,这个开销是非常之大的,所以在程序中我们只记录函数名在调试进程中的地址,同时 dll 名链表中有个状态值,当状态值为真时,表明那个 dll 当前已经加载,这样可以直接去内存拿函数名)。而对于call ebp 之类的指令,而需要在运行时才解析,因为在没有执行到那条语句的时候,寄存器的值是不确定的。
    效果如下:

    第五章 指令记录5.1 问题的提出与分析5.1.1 问题的分析当初听到这个的时候,觉得无从下手,而且也想到了很多极端的问题,比如运行的时候不停的修改原来的指令来达到往下运行的效果。然后进到 API 里面去了,那个记录量是非常之大的,而且当时 A1Pass 的测试结果是每秒只能跑 7 条指令。于是花了很多时间在想着效率提升这块,后来和同学讨论一下,他叫我学习一下OD的这个功能。
    5.2 问题的解决5.2.1 数据的组织因为可能记录的数据量非常之大,所以要采用一种合理的数据结构,比如用户可以按指令跑的顺序记下来,也可以按地址的高低来记录,程序在运行中,可能某个地址的指令要跑很多次,但是我们不能重复记录很多次,所以这需要一种特定的数据结构,在程序中,我使用的是带头尾指针的链表与红黑树的结合,首先是将指令加到链表尾部,然后再插到红黑树里面去,这样查找起来的话,速度非常快的(因为我们每跑一条指令,都要先判断一下树中有没有,没有的话才插到树中去),而且体积只是比单单的红黑树多一个指针域。

    结合后的数据结构:这样就可以把链表与树的优点结合起来了,而补了链表的查找效率的不足。

    5.2.2 指令记录实现在第一个解决方案中,采用的是置单步记录,但是经过测试这个效率不高,而且处理起来也很复杂,比如对于每个 call 之类的指令,判断是不是调用 API 之类的,而且经常会出现一些小问题,兼容性也不太好。
    在第二个解决方案中,采用的是内存断点的方法,这个实现起来方便快捷,也不用判断是不是调用API,而且可以指定要记录的部分,不过内存断点的开销还是挺大的。
    5.2.3 效率的优化假定计算机访问寄存器需要花费一个单位时间片,访问 cache可能要花费几个单位时间片,或许现代计算机已经可以像访问寄存器那样高速了,但是访问内存却要花费一百多的单位时间,则访问磁盘则更慢了。
    为了充分的利用计算机时间,让写入磁盘与处理同时进行,在树节点中,我们直接记录指令的十六进制的值,而不直接记录反汇编结果,这样最大的节省空间,如果对于调用 API 的话,在节点 JmpConst 中记录,如果没有的话,这个值为零。然后在写入磁盘的时间,调用反汇编引擎将 Dump 的内容解析出来,如果JmpConst有值的话,再转成相应的DLL名和函数名。这样就可以并发处理了,从而充分的利用了CPU的时间以及节省了内存空间。
    结点内存图:

    第六章 反反调试6.1 问题的提出与分析一些恶意软件常常使用一些反调技手段用以阻碍对其进行逆向工程。反调试技术是一种常见的反检测技术,因为恶意软件总是企图监视自己的代码以检测是否自己正在被调试。为做到这一点,恶意软件可以检查自己代码是否被设置了断点,或者直接通过系统调用来检测调试器。
    虽然在本设计中还没有来得及添加这些功能,但是想通过本章的内容,达到一个抛砖引玉的目的。
    下面介绍二种常见的反调试方法:

    检测CC 断点
    检测调试器

    6.2 问题的解决对于检测断点的反调试方法,我们可以动态的生成断点,比如 CC 断点,CD断点等等,然后在处理函数做相应的处理就可以了。
    检测调试器的存在,一般是使用 IsDebuggerPresent 函数,跟进 API 我们发现他的实现很简单。
    7C8130A3 > 64:A1 18000000 MOV EAX,DWORD PTR FS:[18] 7C8130A9 8B40 30 MOV EAX,DWORD PTR DS:[EAX+30] 7C8130AC 0FB640 02 MOVZX EAX,BYTE PTR DS:[EAX+2] 7C8130B0 C3 RETN
    FS 指向的当前活动线程的 TEB 结构,TEB 的第一个结构是 TIB,TIB 偏移0x18 处是一个回指指针,指向自身,这里虽然是指向自身,但是我觉得这可能是微软以后为了扩展功能用的,而且从相关的代码中也可以看出来,他们都是先在TEB 偏0x18 处取值,然后再做相关的操作。 之后再取得PEB 的地址。
    通过Windbg 我们可以到PEB 的结构信息:
    0:000> dt _PEB 0x7ffde000 ntdll!_PEB +0x000 InheritedAddressSpace : 0 '' +0x001 ReadImageFileExecOptions : 0 '' +0x002 BeingDebugged : 0x1 '' +0x003 SpareBool : 0 '' +0x004 Mutant : 0xffffffff +0x008 ImageBaseAddress : 0x01000000 +0x00c Ldr : 0x00181ea0 _PEB_LDR_DATA +0x010 ProcessParameters : 0x00020000 _RTL_USER_PROCESS_PARAMETERS ………………
    这样我们就可以看到,IsDebuggerPresent 只是简单的通过判断 PEB 结构的BeingDebugged 值来判断是否被调试器加载。
    这样很简单的反反调试就出来了,我们只需将 PEB 结构的BeingDebugged的值改成0 就可以了。
    __asm { mov eax, fs:[0x18] mov eax, [eax + 0x30] mov byte ptr [eax+2], 0 }
    只要将这段代码写到目标进程里跑一下就可以了。当然,更好的话当然是自己实现CreateProcess这类函数。
    结束语本系统的功能基本实现,因为个人努力不够的关系,很多地方不尽人意,系统原定的很多功能也被减去了,对于部分反调试功能等等,这个将作为后期的开发计划。
    1 评论 7 下载 2018-12-04 09:27:40 下载需要11点积分
  • 基于QT实现的宠物小精灵人机对战游戏

    1 依赖环境
    C++ 11 Support

    MSVC >= 14 (2015)GCC >= 5
    SQLite 3 (include in ./include)
    QT5

    2 特性
    使用C++11编写
    实现了简单反射,可以通过GetClassByName通过字符串获得相应类的对象
    使用反射工厂来创建Pokemon对象,配合多态大大简化代码并提供扩展性
    通过宏注入获得类元数据,实现ORM(对象关系模型)封装SQLite数据库操作,运用访问者模式来自动生成SQL语句
    使用JSON提高协议的可扩展性
    良好的人机交互界面,支持多用户同时在线
    健全的错误恢复处理

    3 界面设计登陆及注册
    游戏主界面
    用户列表
    抓取
    背包
    对战
    实时对战(动画)
    战斗结束
    4 框架设计
    5 协议设计游戏通讯协议基于json,以达到良好的扩展性登录
    {"define" : LOG_IN, "username" : username, "password" : password}{"define" : LOG_IN_SUCCESS/LOG_IN_FAIL_WP/LOG_IN_FAIL_AO/SERVER_ERROR}
    注册
    {"define" : SIGN_UP, "username" : username, "password" : password}{"define" : SIGN_UP_SUCCESS/SIGN_UP_FAIL/SERVER_ERROR}
    获取在线用户列表
    {"define" : GET_ONLINE_LIST}{"define" : QUERY_SUCCESS/SERVER_ERROR, "info" : [list]}
    获取离线用户列表
    {"define" : GET_OFFLINE_LIST}{"define" : QUERY_SUCCESS/SERVER_ERROR, "info" : [list]}
    获取用户背包内容
    {"define" : GET_USER_BAG, "username" : username}{"define" : QUERY_SUCCESS, "info" : [{"id" : id, "name" : name, "level" : level, "exp" : exp, "type" : type, "atttackPoint" : ap, "defensePoint" : dp, "healthPoint" : hp, "attackFrequence" : af, "property" : property }]}{"define" : SERVER_ERROR}
    获取用户成就
    {"define" : GET_USER_ACH}{"define" : QUERY_SUCCESS, "rate" : rate, "sum_ach" : sum , "advance_ach" : advance_sum}{"define" : SERVER_ERROR}
    获取对战精灵列表
    {"define" : GET_POKEMON_LIST}{"define" : QUERY_SUCCESS, "info" : [list]}{"define" : SERVER_ERROR}
    获取对战精灵信息
    {"define" : GET_POKEMON_INFO}{"define" : QUERY_SUCCESS, "info" : {"name" : name, "type" : type, "attackPoint" : ap, "defensePoint" : dp, "healthPoint" : hp, "attackFrequence" : af, "property" : property, "exp" : exp}}{"define" : SERVER_ERROR}
    反馈对战胜利
    {"define" : GAME_WIN, "get" : acquire_pokemon, #对战胜利小精灵的名字 "name" : user_pokemon, #用户对战小精灵的名字 "type": type, "attackPoint" : ap, "defensePoint" : dp, "healthPoint" : hp, "attackFrequence" : af, "property" : property, "level" : level, "exp" : exp, "id" : id #小精灵信息在数据库中的唯一id}{"define" : ACCEPT/SERVER_ERROR}
    反馈对战失败
    {"define" : GAME_LOSE, "isLose" : true/false}if isLose == true: {"define" : ACCEPT, "info" : [{"id" : id, "name" : name, "level" : level, "exp" : exp, "type" : type, "atttackPoint" : ap, "defensePoint" : dp, "healthPoint" : hp, "attackFrequence" : af, "property" : property }] }else {"define" : ACCEPT/SERVER_ERROR}
    反馈损失小精灵
    {"define" : LOSE_POKEMON, "id" : id}{"define" : ACCEPT/SERVER_ERROR}
    随机获得一个新小精灵
    {"define" : GET_ONE_POKEMON}{"define" : ACCEPT, "name" : name}{"define" : SERVERE_ERROR}
    6 结构说明6.1 通用6.1.1 Connor_Socket::Socket(socket.h)完成WSA最基本的初始化,加载库文件,以及释放相关资源#define DEFAULT_BUFLEN 10000 // Socket传输缓冲区大小#define CLIENT_PORT 5150 // 客户端连接端口#define SERVER_PORT 2222 // 服务器监听端口 // 单机模式下都指向localhost#define CLIENT_ADDR "127.0.0.1" // 客户端IP地址#define SERVER_ADDR "127.0.0.1" // 服务器IP地址
    6.1.2 Reflector(reflector.h)反射类,维护类名与之对应构造函数的map定义:
    // 定义生成Pokemon对象的函数指针typedef Pokemon* (*PTRCreateObject)(std::string, unsigned int, unsigned int, Attribute, int);// 新建全局函数以new类对象,模拟反射#define REGISTER(_CLASS_NAME_) \_CLASS_NAME_* Create##_CLASS_NAME_(std::string name, unsigned int level,\ unsigned int exp, Attribute attribute, int id) \{ \ return new _CLASS_NAME_(name, level, exp, attribute, id); \} \ \RegisterAction createRegister##_CLASS_NAME_( \ #_CLASS_NAME_, (PTRCreateObject)Create##_CLASS_NAME_)
    成员函数:
    // 使用单例模式,获得Reflector实例// @return:// Reflector唯一对象的引用static Reflector& GetInstance(){ static Reflector instance; return instance;}// 通过类名获得类的构造函数// @param:// className 需要获得的类名// @return:// 生成相应类的函数指针PTRCreateObject GetClassByName(std::string className);// 将类名和构造函数注册到map中// @param:// className 需要注册的类名// method 生成相应类的函数指针void RegistClass(std::string className, PTRCreateObject method);// 隐藏Reflector的构造函数,单例模式只运行使用GetInstance获得Reflector唯一实例Reflector() {}
    成员变量:
    // 类名与之对应构造函数的mapstd::map<std::string, PTRCreateObject> _classMap;
    6.1.3 RegisterAction(reflector.h)注册行为类,通过构造函数以实现自动向Reflector注册成员函数:
    // 将类与回调函数注册到Reflector// @param:// className 类名// PtrCreatFn 创建相应类的回调函数RegisterAction(std::string className,PTRCreateObject PtrCreateFn);
    6.1.4 PokemonFactory(pokemonfactory.h)产生小精灵对象的工厂,通过多态获得小精灵对象成员函数:
    // 产生对战电脑的小精灵实体// @param:// name 对战小精灵的名字// client 与服务器连接的socket指针// @return:// 小精灵对象指针static Pokemon* CreateComputer(std::string name, Connor_Socket::Client *client);// 产生用户的小精灵实体// @param:// str 用户小精灵的序列化数据,包含各种属性// @return:// 小精灵对象指针static Pokemon* CreateUser(std::string str);
    6.1.5 Pokemon(pokemon.h)产生小精灵对象的工厂,通过多态获得小精灵对象定义:
    // 获得对象运行时多态类型// 多编译器支持#ifdef __GNUC__#include <cxxabi.h>#define GET_CLASS_TYPE(_OBJECT_) \ std::string(abi::__cxa_demangle(typeid(_OBJECT_).name(), nullptr, nullptr, nullptr))#elif _MSC_VER && !__INTEL_COMPILER#include <typeinfo>#define GET_CLASS_NAME(_OBJECT_) \ std::string(typeid(_OBJECT_).name())#define GET_CLASS_TYPE(_OBJECT_) \ GET_CLASS_NAME(_OBJECT_).substr(GET_CLASS_NAME(_OBJECT_).find("class ") + 6, \ GET_CLASS_NAME(_OBJECT_).length() - 6)#else#define GET_CLASS_TYPE(_OBJECT_) \ std::string(typeid(_OBJECT_).name())#endif#define CRTICAL_RATE 0.1 // 暴击概率#define MISS_RATE 0.2 // 闪避概率// 小精灵主属性类别enum class Type{ Strength, //高攻击 Tanker, //高生命值 Defensive, //高防御 Swift, //低攻击间隔};// 小精灵属性typedef struct struct_Attribute{ Type type; // 小精灵主属性类型 int attackPoint; // 攻击力 int defensePoint; // 防御力 int healthPoint; // 生命值 int attackFrequence; // 攻击间隔}Attribute;// 经验值列表const int LEVEL_EXP_LIST[15] = {0, 100, 250, 500, 800, 1200, 1800, 2500, 3300, 4500, 6000, 7000, 8000, 9000, 10000};
    成员函数:
    // 各种获取属性函数Type GetType() const { return _attribute.type; }std::string GetName() const { return _name; }int GetLevel() const { return _level; }unsigned long GetExp() const { return _exp; }int GetAttackPoint() const { return _attribute.attackPoint; }int GetHealthPoint() const { return _attribute.healthPoint; }int GetDefensePoint() const { return _attribute.defensePoint; }int GetAttackFrequence() const { return _attribute.attackFrequence; }int GetHp() const { return _hp; }int GetId() const { return _id; }// 判断是否最近一次攻击为暴击bool IsCritical() const { return _critical; }// 小精灵受伤函数// 小精灵真正受到的伤害 = (damage-小精灵的防御值) * 随机系数// 同时有几率闪避// @param:// damage 受到的伤害// @return:// 小精灵是否死亡virtual bool Hurt(int damage);// 小精灵攻击函数// @param:// opPokemon 攻击小精灵的指针// @return:// 攻击造成的伤害virtual int Attack(Pokemon * opPokemon) = 0;// 根据获得的经验增加经验值并自动升级,返回是否升级// @param:// exp 小精灵获得的经验值// @return:// 小精灵是否升级virtual bool Upgrade(int exp);// 小精灵升级时各属性的成长// @param:// master 小精灵主属性virtual void Grow(int *master);// 在攻击、防御、升级时有一定的随机性// @return:// 产生随机的比例系数(0~1)virtual double Bonus();
    成员变量:
    // 精灵名字std::string _name;// 等级int _level;// 经验值unsigned long _exp;// 各种属性Attribute _attribute;// 对战时的实时血量int _hp;// 在数据库中对应的唯一idint _id;// 暂存最近一次攻击是否暴击bool _critical;
    6.2 客户端6.2.1 Connor_Socket::Client(client.h)继承于Socket类,封装winsock,管理socket的发送与接受信息成员函数:
    // 默认构造函数// 委托到带名字的构造函数,传参为UNKOWNClient() : Client("UNKNOWN") { }// 带名字的构造函数,表明与该socket绑定的用户名// @param:// name 用户名Client(string name);// 注册、登陆时使用的函数// 建立与服务器的连接// @param:// requestInfo json序列化后请求信息// @return:// json序列化后的返回信息// @exception:// Server关闭连接/发送失败,抛出 runtime_error;std::string Connect(std::string requestInfo);// 建立连接后使用此函数向服务器发送数据// @param:// requestInfo json序列化后请求信息// @return:// json序列化后的返回信息// @exception:// Server关闭连接/发送失败,抛出 runtime_error;std::string Send(std::string requestInfo);// 关闭与服务器的连接void Close();// 获取该client绑定的用户名// @return:// 用户名std::string GetUserName();
    成员变量:
    // 与服务器通信的socketSOCKET _connectSocket;// 服务器的地址信息SOCKADDR_IN _serverAddr;// 用户名std::string _username;
    6.2.2 Widget(widget.h)登录及注册界面成员函数:
    // 登陆void Login();// 注册void Signup();// 初始化UI界面void InitUi();// 初始化信号槽void InitConnect();
    成员变量:
    // 该widget的ui界面指针Ui::Widget *ui;// 与服务器连接的socket指针Connor_Socket::Client *_client;
    6.2.3 StackWidget(stackwidget.h)管理多个视图的切换成员函数:
    // 刷新用户列表信号void refreshUserList();// 刷新用户背包信号void refreshBag();// 刷新对战界面信号void refreshFight();// 设置当前显示的视图// index = 0 游戏主界面// index = 1 用户列表界面// index = 2 抓取界面// index = 3 用户背包界面// index = 4 对战选择界面// @param:// index 视图的编号void SetCurrentIndex(int index);// 返回到主界面void BackToLobby();// 初始化UI界面void InitUi();// 初始化信号槽void InitConnect();
    成员变量:
    // 该widget的ui界面指针Ui::StackWidget *ui;// 与服务器连接的socket指针Connor_Socket::Client *_client;// 管理多个视图切换的stacklayoutQStackedLayout *_stackLayout;// 各个分视图指针GameLobby *_gameLobby;UserListWidget *_userListWidget;BagWidget *_bagWidget;FightWidget *_fightWidget;ScratchWidget *_scratchWidget;
    6.2.4 GameLobby(gamelobby.h)游戏主界面,包括进入四个功能界面的入口成员函数:
    // 鼠标点击在相应的区域信号void clicked(int type);// 关闭程序信号void closeAll();// 登出void LogOut();// 重载鼠标点击事件,对四个不规则区域监测鼠标点击事件void mousePressEvent(QMouseEvent *event);// 初始化UI界面void InitUi();// 初始化信号槽void InitConnect();
    6.2.5 UserListWidget(userlistwidget.h)用户列表界面,包括查看在线用户和所有用户的背包及胜率成员函数:
    // 返回到主界面信号void back();// 设置用户列表界面的内容void SetUserList();// 显示背包内容// @param:// username 要查看背包的所属用户void ShowBag(QString username);// 初始化UI界面void InitUi();// 初始化信号槽void InitConnect();
    成员变量:
    // 该widget的ui界面指针Ui::UserListWidget *ui;// 与服务器连接的socket指针Connor_Socket::Client *_client;// 在选择用户背包按钮的mapperQSignalMapper *_signalMapper;
    6.2.6 ScratchWidget(scratchwidget.h)抓取界面,点击精灵球有机率随机获得小精灵成员函数:
    // 返回到主界面信号void back();// 重载事件过滤器// 当鼠标移动到精灵球上对其实现震动动画bool eventFilter(QObject *watched, QEvent *event);// 初始化UI界面void InitUi();// 初始化信号槽void InitConnect();// 该widget的ui界面指针Ui::ScratchWidget *ui;// 与服务器连接的socket指针Connor_Socket::Client *_client;
    成员变量:
    // 该widget的ui界面指针Ui::ScratchWidget *ui;// 与服务器连接的socket指针Connor_Socket::Client *_client;
    6.2.7 BagWidget(bagwidget.h)用户背包界面,包括查看背包内小精灵属性和用户胜率及成就的显示成员函数:
    // 返回到主界面信号void back();// 设置背包界面的内容void SetBag();// 初始化UI界面void InitUi();// 初始化信号槽void InitConnect();
    成员变量:
    // 该widget的ui界面指针Ui::BagWidget *ui;// 与服务器连接的socket指针Connor_Socket::Client *_client;
    6.2.8 FightWidget(fightwidget.h)对战选择界面,包括选择用户精灵和对战的电脑精灵成员函数:
    // 返回到主界面信号void back();// 设置背包界面的内容void SetBag();// 对战开始,构建fightroom// @param:// isLose 对战失败用户是否会损失小精灵void FightBegin(bool isLose);// 重载事件过滤器,监测鼠标对背包小精灵label的点击bool eventFilter(QObject *watched, QEvent *event);
    成员变量:
    // 该widget的ui界面指针Ui::FightWidget *ui;// 与服务器连接的socket指针Connor_Socket::Client *_client;// 父对象指针QWidget *_parent;// 选中出战的小精灵QObject *_select;
    6.2.9 FightRoom(fightroom.h)实时对战界面,包括小精灵打斗动画和血量显示以及实时计算成员函数:
    // 开始对战void Fight();// 重载关闭事件void FightRoom::closeEvent(QCloseEvent *event);// 小精灵普通攻击信号void attack(QLabel *, QLabel *);// 小精灵特殊攻击信号void attack_SP(std::pair<Pokemon *, QLabel *> *, std::pair<Pokemon *, QLabel *> *);// 游戏结束信号void over(Pokemon *);// 小精灵受伤害信号void hurt(QLabel *attacker, QLabel *suffer);// 窗口关闭信号void isClosed();// 清除掉血文字信号void clearText();// 隐藏招式标签信号void hideLabel();// 设置普通攻击动画// @param:// attacker GUI中攻击方的Label指针// suffer GUI中被攻击方的Label指针void setAnimation(QLabel *attacker, QLabel *suffer);// 设置特殊攻击动画// @param:// attacker 攻击方的小精灵对象指针和GUI中的显示Label// suffer 被攻击方的小精灵对象指针和GUI中的显示Labelvoid setAnimation_SP(std::pair<Pokemon *, QLabel *> *attacker, std::pair<Pokemon *, QLabel *> *suffer);// 对战完成// @param:// winner 胜利小精灵的对象指针void GameComplete(Pokemon *winner);// 更新双方血量// @param:// attacker GUI中攻击方的Label指针// suffer GUI中被攻击方的Label指针void UpdateHp(QLabel *attacker, QLabel *suffer);// 设置掉血数值void setText();// 设置招式Labelvoid setLabel();// 选择损失的小精灵void Choose(int);// 初始化UI界面void InitUi();// 初始化信号槽void InitConnect();
    成员变量:
    // 该widget的ui界面指针Ui::FightRoom *ui;// 与服务器连接的socket指针Connor_Socket::Client *_client;// 对战用户方的小精灵对象指针和GUI中的显示Labelstd::pair<Pokemon *, QLabel *> _fighter;// 对战电脑方的小精灵对象指针和GUI中的显示Labelstd::pair<Pokemon *, QLabel *> _againster;// 该场对战用户失败是否会损失小精灵bool _isLose;// 在选择损失小精灵所用的信号mapperQSignalMapper *_signalMapper;// 标识用户在对战中是否中途退出bool _quit;
    6.3 服务器6.3.1 Connor_Socket::Server(server.h)继承于Socket类,封装winsock,管理socket的发送与接受信息成员函数:
    // 构造函数,打开监听接口等待请求Server();// 查询用户是否在线// @param:// username 需要查询的用户名// connection 与该用户名绑定的socket// @return:// 是否在线bool Online(std::string username, SOCKET connection);// 将某用户从在线列表移除// @param:// username 需要移除的用户名void Offline(std::string username);// 获得在线用户列表// @return:// 装载有所有在线用户名的liststd::list<std::string> GetOnlineList();
    成员变量:
    // 监听客户端访问的socketSOCKET _listeningSocket;// 地址信息SOCKADDR_IN _serverAddr;// 持有与各个客户端保持通信的线程std::vector<std::thread> _socketThreads;// 持有用户名相对应的socket链接std::unordered_map<std::string, SOCKET> _sockets;// 连接到服务器的客户端数size_t _count;
    6.3.2 Dispatch(dispatch.h)继承于Socket类,封装winsock,管理socket的发送与接受信息成员函数:
    // 传入SOCKET和Server的构造函数// @param:// connection 与相应客户端建立的socket连接// parent server对象指针Dispatcher(SOCKET &connection, Connor_Socket::Server *parent);// 根据请求信息,分发到相应的函数处理请求// @param:// requestInfo json序列化后请求信息// @return:// json序列化后的返回信息std::string Dispatch(json requestInfo);// 登陆处理逻辑json LoginHandle(json&);// 注册处理逻辑json SignupHandle(json&);// 获取在线用户列表处理逻辑json OnlineListHandle(json &);// 查看用户背包处理逻辑json UserBagHandle(json &);// 获取离线用户列表处理逻辑json OfflineListHandle(json &);// 获取用户成就逻辑json UserAchievementHandle(json &);// 获取对战精灵列表处理逻辑json PokemonListHandle(json &);// 获取对战精灵信息处理逻辑json PokemonInfoHandle(json &);// 对战胜利处理逻辑json GameWinHandle(json &);// 对战失败处理逻辑json GameLoseHandle(json &);// 损失小精灵处理逻辑json LosePokemonHandle(json &);// 为用户随机分发一个宠物小精灵// @param:// username 获得小精灵的用户名// @return:// 获得小精灵的名字std::string DispatchPokemon(std::string username);// 与该Dispatch绑定用户登出void Logout();// 获取Dispatcher的内部状态int getState();
    成员变量:
    // 代表用户处于什么状态,如在线空闲或对战int _state;// 与dispatcher绑定的socket连接SOCKET _connection;// 与socket连接绑定的用户名std::string _username;// server指针,以访问server维护的在线列表Connor_Socket::Server *_parent;
    2 评论 28 下载 2018-11-06 18:59:59 下载需要8点积分
  • 基于Bootstrap框架和SSH框架实现的旅游自助系统网站APP

    1 需求分析1.1 五类地方旅游类App下载量分布图从下载量来看,交通出行类App显然是最受用户欢迎的,在数量少于景点攻略类App的情况下,交通出行类App总下载量为前者2.43倍,占总下载量的70%。六大平台中仅有应用宝上,交通出行类App总下载量低于景点攻略类App。

    1.2 六大商店地方旅游类App下载量分布图六大商店地方旅游类App下载量显示,在百度手机助手上线的地方旅游类App总计下载量为8912449次,明显领先360助手、安卓市场、安智市场、豌豆荚、应用宝五家商店。

    2 可行性分析经济可行性

    服务器:Linux系统的阿里云服务器
    PC机:开发电脑3台
    数据库:MySQL
    建模工具:Rotational Rose 2003

    技术可行性

    版本控制系统:SVN
    前端:Bootstrap框架、Html5+CSS3、JavaScript、Ajax
    后台:Struts2框架、Hibernate框架、Spring框架
    设计模式:拟采用单例模式、适配器和外观模式
    算法:AES加密算法、MD5加密算法、路径规划算法

    社会因素可行性分析

    所有软件都选用正版
    所有技术资料都由提出方保管
    合同制定确定违约责任
    用户使用可行性分析

    3 分析图用例建模


    流程图
    系统分析
    时序图
    E-R图



    数据库设计
    四、关键技术
    版本控制系统:SVN
    前端:Bootstrap框架、Html5+CSS3、JavaScript、Ajax
    后台:Struts2框架、Hibernate框架、Spring框架
    设计模式:拟采用单例模式、适配器和外观模式
    算法:AES加密算法、MD5加密算法、路径规划算法



    五、模块测试景点和旅游路线的查询,支持模糊查询



    预定旅游服务,用户登录注册之后就可以预定旅游服务

    后台管理系统,旅游公司的管理员可以进行接收旅游服务订票操作


    旅游公司管理员可以新开旅游路线

    维护旅游公司的旅游路线

    开发景点,支持图片上传,带Jquery的城市选择器

    进行景点维护,采用UEditor富文本编辑器框架进行编辑,可以将样式写入数据库
    1 评论 24 下载 2018-11-28 11:36:15 下载需要11点积分
  • 基于python的中文聊天机器人

    前言发布这篇 Chat 的初衷是想和各位一起分享一下动手来做聊天机器人的乐趣,因此本篇文章适合用于深度机器学习的研究和兴趣发展,因为从工业应用的角度来看使用百度、科大讯飞的 API 接口会更加的适合。在这篇文章中,希望和大家一起共同交流和探索动手实践的乐趣,当然也欢迎大神来做深度的探讨以及吐槽。这篇 Chat 的基础源代码来自互联网,我进行了综合优化和部分代码的重写,我也会在这边文章发布的同时将所有源代码上传到 Git 分享出来,这样在文章中我就不占用篇幅贴出全部的源代码,大家可以从 Git 上 pull 下来对照着文章来看。
    一、系统设计思路和框架本次系统全部使用 Python 编写,在系统设计上遵循着配置灵活、代码模块化的思路,分为数据预处理器、数据处理器、执行器、深度学习模型、可视化展示五个模块。模块间的逻辑关系大致为:数据预处理是将原始语料进行初步的处理以满足于数据处理模块的要求;执行器是整个系统引擎分别在运转的时候调用数据处理器、深度学习模型进行数据处理、模型训练、模型运作等工作;深度学习模型是一个基于TF的seq2seq模型,用于定义神经网络并进行模型计算;可视化展示是一个用Flask前端框架写的简单的人机交互程序,在运行时调用执行器进行人机对话。整体的框架图如下:

    本系统利用seq2seq模型的特点,结合word2vec的思路(当然这样做有点简单粗暴,没有进行分词),将训练语料分为Ask语料集和Replay语料集,并根据一定的比例分为训练语料集和验证语料集,然后就是word2vec。这些步骤都是在数据预处理器和数据处理器中完成的,关于训练语料集与验证语料集的数量都是做成可外部配置的,这也是这个系统我认为设计的最合理的地方(可惜不是我设计的)。在完成数据的处理后,执行器就会根据训练模式(这也是外部可配置的)来调用seq2seq进行神经网络的创建,神经网络的超参数同样也是可以外部进行配置的。在进行训练过程中,使用perprelixy来计算模型的loss,通过自动的调整learning rate来逐步的取得最优值,当learning rate减少为0达到最优值。最后,就是可视化展示模块启动一个进程调用执行器来实时在线提供聊天服务,在语句输入和输出利用seq2seq的特点,直接将输入seq转换成vec作为已经训练好的神经网络,然后神经网络会生成一个seq向量,然后通过查询词典的方式将生成的向量替换成中文句子。在神经网络模型这里,TF有GRU和LSTM模型可供选择,我比较了GRU和LSTM的训练效果,发现还是GRU比较适合对话语句场景的训练,这点在后面的代码分析环节会详细解释。
    二、源码结构
    datautls.py(数据预处理器)包含的函数convertseq2seq_files,将主程序分好的ask语料集和response语料集转换成seq2seq文件,以便数据处理器进行进一步的数据处理。对于整个系统,一般该数据预处理器只需要运行一次即可
    prepareData.py(数据处理器)包含的函数:createvocabulary、converttovector、preparecustomdata、 basictokenizer、initialize_vocabulary,这些函数的作用分别是创建字典、句子转向量、根据超参定制化训练数据、基础数据标记、初始化词典
    execute.py(执行器)包含的函数:getconfig、readdata、createmodel、train、 selftest、initsession、decodeline,这些函数的作用分别是获取配置参数和超参、读取数据、创建模型、训练模型、模式测试、初始化会话、在线对话。
    seq2seqmodel.py(深度机器学习模型)包含的函数:init、sampledloss、seq2seqf、step、getbatch,这些函数的作用分别是程序初始化、loss函数、seq2seq函数、拟合模型、获取批量数据
    app.py(可视化展示模块)包含的函数: heartbeat、reply、index,这些函数的作用分别是心跳、在线对话、主页入口

    三、源码讲解3.1 数据预处理器(data_utls.py)首先在代码的头部声明代码编码类型,#!/usr/bin/env Python #coding=utf-8,然后导入所需的依赖:
    import osimport randomimport getConfig
    os是提供对python进行一些操作系统层面的工具,比如read、open等,主要是对文件的一些操作。 random是一个随机函数,提供对数据的随机分布操作。 getConfig是外部定义的一个函数,用来获取seq2seq.ini里的参数配置。 接下来是对原始语料的处理,主要是通过语句的奇偶行数来区分问答语句(由于语料是电影的台词,所以直接默认是一问一答的方式),然后把区分后的语句分别存储下来,保存为ask文件和response文件。
    gConfig = {}gConfig=getConfig.get_config()conv_path = gConfig['resource_data']if not os.path.exists(conv_path): exit()convs = [] # 用于存储对话集合with open(conv_path) as f: one_conv = [] # 存储一次完整对话 for line in f: line = line.strip('\n').replace('/', '') if line == '': continue if line[0] == gConfig['e']: if one_conv: convs.append(one_conv) one_conv = [] elif line[0] == gConfig['m']: one_conv.append(line.split(' ')[1])ask = [] # 用来存储问的语句response = [] # 用来存储回答的语句for conv in convs: if len(conv) == 1: continue if len(conv) % 2 != 0: # 保持对话是一问一答 conv = conv[:-1] for i in range(len(conv)): if i % 2 == 0: ask.append(conv[i]) #因为这里的i是从0开始的,因此偶数为问的语句,奇数为回答的语句 else: response.append(conv[i])
    然后调用convertseq2seqfiles函数,将区分后的问答语句分别保存成训练集和测试机,保存文件为train.enc、train.dec、test.enc、test.dec。convertseq2seqfiles函数就不一一贴出来,可以对照源码来看。
    3.2 数据处理器(prepareData.py)编码声明和导出依赖部分不再重复,在真正的数据处理前,需要对训练集和测试集中的一些特殊字符进行标记,以便能够进行统一的数据转换。特殊标记如下:
    PAD = "__PAD__"#空白补位GO = "__GO__"#对话开始EOS = "__EOS__" # 对话结束UNK = "__UNK__" # 标记未出现在词汇表中的字符START_VOCABULART = [PAD, GO, EOS, UNK]PAD_ID = 0#特殊标记对应的向量值GO_ID = 1#特殊标记对应的向量值EOS_ID = 2#特殊标记对应的向量值UNK_ID = 3#特殊标记对应的向量值
    接下来定义生成词典函数,这里及后续的函数只贴出函数名和参数部分,详细的代码参见Git上的源码:
    def create_vocabulary(input_file,output_file):
    这个函数算法思路会将input_file中的字符出现的次数进行统计,并按照从小到大的顺序排列,每个字符对应的排序序号就是它在词典中的编码,这样就形成了一个key-vlaue的字典查询表。当然函数里可以根据实际情况设置字典的大小。
    def convert_to_vector(input_file, vocabulary_file, output_file):
    这个函数从参数中就可以看出是直接将输入文件的内容按照词典的对应关系,将语句替换成向量,这也是所有seq2seq处理的步骤,因为完成这一步之后,不管原训练语料是什么语言都没有区别了,因为对于训练模型来说都是数字化的向量。
    def prepare_custom_data(working_directory, train_enc, train_dec, test_enc, test_dec, enc_vocabulary_size, dec_vocabulary_size, tokenizer=None):
    这个函数是数据处理器的集成函数,执行器调用的数据处理器的函数也主要是调用这个函数,这个函数是将预处理的数据从生成字典到转换成向量一次性搞定,将数据处理器对于执行器来说实现透明化。working_directory这个参数是存放训练数据、训练模型的文件夹路径,其他参数不一一介绍。
    3.3 seq2seq 模型seq2seq模型是直接参照TF官方的源码来做的,只是对其中的一些tf参数针对tf的版本进行了修正。如Chat简介中说的,考虑到大家的接受程度不一样,本次不对代码、算法进行太过深入的分析,后面我会开一个达人课专门详细的进行分析和相关知识的讲解。
    class Seq2SeqModel(object):
    前面的导入依赖不赘述了,这里在开头需要先定义一个Seq2SeqModel对象,这个对象实现了一个多层的RNN神经网络以及具有attention-based解码器,其实就是一个白盒的神经网络对象,我们只需拿来用即可,详细的可以参阅http://arxiv.org/abs/1412.7449这个paper。关于这个paper这次不做解读。
    def __init__(self, source_vocab_size, target_vocab_size, buckets, size, num_layers, max_gradient_norm, batch_size, learning_rate, learning_rate_decay_factor, use_lstm=False, num_samples=512, forward_only=False):
    这个函数是整个模型的初始化函数(父函数),这个函数里面会定义多个子函数,简单来讲这个函数执行完之后就完成了训练模型的创建。这个函数中的大部分参数都是通过seq2seq.ini文件进行朝参数配置的,其中uselstm这个参数是决定是使用gru cell还是lstm cell来构建神经网络,gru其实是lstm的变种,我两个cell都测试了,发现在进行语句对话训练时使用gru cell效果会更好,而且好的不是一点。由于时间的缘故,只对超参size、numlayers、learningrate、learningratedecayfactor、use_lstm进行简单对比调试,大家有兴趣的话可以自己进行调参,看看最优的结果值preprlexity会不会小于10。
    sampledloss、seq2seqf、step、get_batch这些子函数不一一的讲了,大家可以百度一下,都有很详细的解释和讲解。如果需要,我会在达人课里对这些子函数进行讲解。
    3.4 执行器_buckets = [(1, 10), (10, 15), (20, 25), (40, 50)]
    这个bukets的设置特别关键,也算是一个超参数,因为这个关系到模型训练的效率。具体设置的时候,有两个大原则:尽量覆盖到所有的语句长度、每个bucket覆盖的语句数量尽量均衡。
    def read_data(source_path, target_path, max_size=None):
    这个函数是读取数据函数,参数也比较简单,其中max_size这个参数默认是空或者是None的时候表示无限制,同时这个参数也是可以通过seq2seq.ini进行设置。
    def create_model(session, forward_only):
    这个函数是用来生成模型,参数简单。model的定义也只有一句:
    model = seq2seq_model.Seq2SeqModel( gConfig['enc_vocab_size'], gConfig['dec_vocab_size'], _buckets, gConfig['layer_size'], gConfig['num_layers'], gConfig['max_gradient_norm'], gConfig['batch_size'], gConfig['learning_rate'], gConfig['learning_rate_decay_factor'], forward_only=forward_only)
    这里可以看到,模型的生成直接调用了seq2seq_model中的对象Seq2SeqModel,将相应的参数按照要求传进去就可以,具体这个对象的作用以及详细的细节如前面所说可以参照具体的paper来研究,但是作为入门的兴趣爱好者来说可以先不管这些细节,先拿来用就可以了,主要关注点建议还是在调参上。
    def train():
    train函数没有参数传递,因为所有的参数都是通过gconfig来读取的,这里面有一个特殊的设计,就是将prepareData函数调用放在train()函数里,这样做的话就是每次进行训练时都会对数据进行处理一次,我认为这是非常好的设计,大家可以参考,因为这个可以保证数据的最新以及可以对增长的数据进行训练。具体代码如下:
    enc_train, dec_train, enc_dev, dec_dev, _, _ = prepareData.prepare_custom_data(gConfig['working_directory'],gConfig['train_enc'],gConfig['train_dec'],gConfig['test_enc'],gConfig['test_dec'],gConfig['enc_vocab_size'],gConfig['dec_vocab_size'],tokenizer=None)def selftest():和def initsession(sess, conf='seq2seq.ini'):
    这两个函数分别是进行测试以及初始会话用的。由于TF的特殊机制,其每次图运算都是要在session下进行的,因此需要在进行图运算之前进行会话初始化。
    def decode_line(sess, model, enc_vocab, rev_dec_vocab, sentence):
    这个函数就是我们整个对话机器人的最终出效果的函数,这个函数会加载训练好的模型,将输入的sentence转换为向量输入模型,然后得到模型的生成向量,最终通过字典转换后返回生成的语句。
    由于执行器包含多种模式,因此我们在最后加上一个主函数入口并对执行模式判断,
    if __name__ == '__main__':if gConfig['mode'] == 'train': # start training train()elif gConfig['mode'] == 'test': # interactive decode decode() else: print('Serve Usage : >> python3 webui/app.py') #当我们使用可视化模块调用执行器时,需要在可视化模块所在的目录下进行调用,而是可视化模块由于包含很多静态文件,所以统一放在webui目录下,因此需要将执行器与可视化模块放在同一个目录下。 print('# uses seq2seq_serve.ini as conf file')#seq2seq_serve.ini与seq2seq.ini除了执行器的模式外所有配置需要保持一致。
    3.5 可视化展示模块def heartbeat():
    由于可视化展示模块需要账期在线运行,为了了解运行状态加了一个心跳函数,定时的输出信息来check程序运行情况。
    def reply():
    这个函数是人机对话交互模块,主要是从页面上获取提交的信息,然后调用执行器获得生成的回答语句,然后返回给前端页面。
    其中有一点设计可以注意一下,就是在进行语句转向量的过程中,为了保证准确识别向量值,需要在向量值中间加空格,比如123,这个默认的会识别成一个字符,但是1 2 3就是三个字符。因此在获取到前端的语句后,在传给执行器之前需要对语句进行字符间加空格处理,如下:
    req_msg=''.join([f+' ' for fh in req_msg for f in fh])def index():
    这个函数是可视化展示模块的首页加载,默然返回一个首页html文件。
    另外,由于TF的特殊机制,需要在可视化模块中初始化会话,这样执行器才能运行,如下:
    import tensorflow as tf import execute sess = tf.Session() sess, model, enc_vocab, rev_dec_vocab = execute.init_session(sess, conf='seq2seq_serve.ini')
    最后和执行器一样,需要加一个主函数入口启动可视化模块,并配置服务地址和端口号,如下:
    if (__name__ == "__main__"): app.run(host = '0.0.0.0', port = 8808)
    四、训练过程和最优值
    1 评论 45 下载 2018-11-20 23:18:57 下载需要11点积分
  • 基于开源Alice的聊天机器人

    一、聊天机器人基本原理
    语料库中的pattern是模式的意思,可理解为问题,而相应的template可理解为回答(而这一对问答被包裹在了category标签里面)。假如你的语料库像上面的xml文件这样简单,那么当你输入“你是谁”,机器人就会在内存中去一个一个的匹配pattern,最后匹配到了,就会回答“我是小龙”,而你输入其他任何语句,机器人就无从匹配了,程序会出现匹配不到的错误。那么怎样避免程序出错呢?我们修改语料库如下:

    上图中的*,是AIML中的通配符,它匹配任何你输入的语句。当你输入的语句成功匹配,那么返回相应的template后,就不会再去匹配其他的category了。假如程序没有任何相匹配的,那么*总是可以匹配你的输入,机器人会输出“对不起,主人还没有教我怎么回答这个问题呢
    当然AIML解析器所支持的xml标签种类远不止这些,上述是最基本的。AIML所支持的标签种类目测有20种。
    二、为什么AIML解析器不支持中文国外的一款做的很好的聊天机器人(通过了图灵测试),她叫“Alice”(你可以用英文和Alice聊天),它内部有很庞大的语料库,几乎所有用户可能说的话,语料库中都有,而且它用的就是AIML解析器。然而AIML程序中有一些地方会用正则表达式将除了英文字母和数字外的其他字符全部用空格替代,这就是Aiml解析器不支持中文的重要原因,这种正则表达式出现在bitoflife.chatterbean.text.Transformations 类中,比如下面这个函数:


    其中fitting为:

    上面的normalization函数是用来对用户输入做规范化处理的,它做了一下工作:

    在原始输入的内容两头加空格
    把句子中间的任何2个以上连续的空白字符都替换成一个空格
    并对input进行字符过滤

    修改完正则表达式之后,算是成功了一半,那还需要做怎么处理呢?
    我们知道AIML当初仅仅是针对English语言开发的,而English单词之间都是有空格的,所以在前期载入语料库阶段,解析器默认xml语料库中的词之间都有空格,然后通过空格将句子分成一个个单词,最后在内存构建一个匹配树,而且在处理用户输入的句子时也是将其进行了规范化处理,如下代码:

    而为了让它支持中文,一个比较直观的方法是在对用户输入做规范化处理的时候,我们将输入的中文句子中加入空格,比如上述代码的chineseTranslate函数:

    同理,在载入语料库的时候,同样需要写一个类似的函数,功能就是将语料库中的字之间加上空格。
    三、关于标签的支持与使用Aiml标签使用的官方文档
    http://www.alicebot.org/TR/2005/WD-aiml
    http://www.pandorabots.com/botmaster/en/tutorial?ch=4
    根据上面的连接我们可以初步了解各种标签的作用和用法。k
    然而,就我现在的中文聊天机器人,有些标签还不能正常使用,这是需要改进的地方。
    下面是一些我尝试过的一些标签用法:
    最基本:
    <category><pattern>你好</pattern> <template>呵呵</template></category>
    每一个问题和回答都被包裹在<category>标签中
    随机返回功能:
    <category> <pattern>你好</pattern> (或者在后面加一个*) <template> <random> <li>你好呀!</li> <li>嘿嘿</li> <li>我很好,你呢?</li> </random> </template></category><li>是library的意思,不是list
    当你输入“你好”的时候,机器人会从random里面随机取出一句回答你。不过默认的都是先取第一句回答。
    输入重定向功能(<srai>):
    <category> <pattern>你好</pattern> <template> <random> <li>你好呀!</li> <li>嘿嘿</li> <li>我很好,你呢?</li> </random> </template></category><category> <pattern>HELLO</pattern> <template><srai>你好</srai></template> </category>
    输入“hello”的时候,会匹配到第二个category,而srai标签的功能是,将“你好”当成用户的输入,并重新到语料库里去匹配,最后就匹配到了第一个category。换句话说,用户输入“hello”和输入“你好”的效果是一样的。但是在使用srai标签的时候有可能会形成死循环,所以请慎重。
    另外需要注意的是,如果你想要在语料库里面写英文的语料库,那么英文单词都要是大写的,而用户输入的英文可以不用大写。如果你觉得用大写很不爽,那么你可以去修改源代码。
    *,<think>,<set>,<get>,<star>的使用:
    <category> <pattern>我叫*</pattern> <template> <think> <set name="myname"><star/></set> </think>hello, <get name="myname"/>.</template></category>
    测试结果为:

    you say>
    我叫小龙
    Alice>hello, 小龙.

    标签解释:
    set和get里面的myname相当与参数名,首先在set标签中给myname赋值,然后用get标签得到相应参数的值,如果myname之前没有被赋值,那么就是空字符串。<star/>指的是pattern标签中*所匹配的内容。它还能指定index,举个例子:
    <pattern>我叫*呵呵*</pattern> <template> <think> <set name="myname"><star index=”2”/></set> </think>hello, <get name="myname"/>.</template>
    那么这时star标签就会被pattern中第2个*号所匹配的内容替代。而<star/>其实相当与<star index=”1”/> <think>标签可以理解为机器人在思考,它只会在“脑子”里默默的记住一些事情,或者完成一些不会被用户看到的工作。
    Condition标签使用:
    <category> <pattern>我叫*</pattern> <template> <think> <set name="myname"><star/></set> </think>hello, <get name="myname"/>.</template></category><category> <pattern>你好*</pattern> <template> 你好啊! <condition name="myname" value="jack">怎么又是你?</condition> </template></category>
    测试结果:

    you say>
    我叫jack
    Alice>hello, jack.
    you say>
    你好啊
    Alice>你好啊! 怎么又是你?
    you say>
    我叫job
    Alice>hello, job.
    you say>
    你好啊
    Alice>你好啊!

    标签解释:
    <condition>标签中的myname是在set中被赋值的。然后在匹配到“你好*”后,就要判断是不是“jack”
    input标签的用法:
    <category> <pattern>我叫*</pattern> <template> <think><set name="name"><star/></set></think> 你好啊,<get name="name"/> </template></category><category> <pattern>嘿嘿</pattern> <template> 你刚才说:“<input index="2"/>”? </template></category>
    测试结果:

    you say>
    我叫jack
    Alice>你好啊,jack
    you say>
    嘿嘿
    Alice>你刚才说:“我 叫 jack”?

    标签解释:
    <input>标签指的是用户之前的输入,加上一个index,那就是说,用户倒数第几句输入,注意是“倒数”!index=”1”,就是用户倒数第一句输入的内容,以此类推,当然index是会出现越界错误的。
    date标签的使用:
    <category> <pattern>现在什么时间*</pattern> <template><date format="h:mm a"/>.</template></category>
    测试结果:

    you say>
    现在什么时间啊
    Alice>It is 9:49 下午.

    Date标签将获得当前的系统时间
    <that>元素表示先前机器人说的话,例如:
    <category> <pattern>聊什么好呢*</pattern> <template>一起聊聊电影好吗?</template></category><category> <pattern>好</pattern> <that>一起聊聊电影好吗?</that> <template>那你喜欢什么电影呢?</template></category><category> <pattern>不好</pattern> <that>一起聊聊电影好吗?</that> <template>那我也不知道聊什么了~</template></category>
    测试结果:

    you say>
    聊什么好呢?
    Alice>一起聊聊电影好吗?
    you say>

    Alice>那你喜欢什么电影呢?
    you say>
    聊什么好呢
    Alice>一起聊聊电影好吗?
    you say>
    不好
    Alice>那我也不知道聊什么了~

    这个标签还能取前面任意机器人说的话,不过不太熟…没有试验过
    如果要取前面的前面机器人的话,可以用:<that index=”nx,ny”>,例如:<that index=”2,1”表示取机器人倒数第2句的话,<that index=”2,1”>也等于<justbeforethat/>
    <thatstar>标签:
    <category> <pattern>你好</pattern> <template>计算机的型号是什么</template> </category> <category> <pattern>*</pattern> <that>*的型号是什么</that> <template><star/> --》》这里的star标签匹配的是pattern中的*,但是奇怪的,如果把index改成2以后,却也不会出错。 这个型号是 <thatstar/> 里面 <random> <li>很好的商品</li> <li>很流行的商品</li> <li>很华丽的商品</li> </random>。 </template> </category>
    测试结果:

    you say>
    你好
    Alice>计算机的型号是什么
    you say>
    d
    Alice>d 这个型号是 里面 很好的商品。

    thatstar是匹配pattern-side that标签里面的*号的,但是这里没匹配到。
    我想这里也还需要修改源代码。
    set标签也有问题。
    <category> <pattern>他做到了</pattern> <template>谁 ?</template></category><category> <pattern>*</pattern> <that>谁 *</that> <template> Oh, why do you think <set name="他"><star/></set> did that? I wouldn't expect that kind of behavior from <get name="他"/>. </template></category><category> <pattern>*</pattern> <template>啊哦~</template></category>
    测试结果:

    you say>
    他做到了
    Alice>谁?
    you say>
    小龙
    Alice>Oh, why do you think did that? I wouldn’t expect that kind of behavior from .

    假如这样写:<set name="he"><star/>
    那么测试结果为:

    you say>
    他做到了
    Alice>谁 ?
    you say>
    jack
    Alice>Oh, why do you think jack did that? I wouldn’t expect that kind of behavior from jack.

    也就是说这个标签不支持中文。还是需要修改源代码。
    template-side input有问题:
    <aiml:input index = (single-integer-index | comma-separated-integer-pair) /><category><pattern>HELLO</pattern><template>吃饭了吗?</template></category><category><pattern>吃了</pattern><template>我也吃了</template></category><category> <pattern>你好</pattern> <template>计算机 的 型 号 是 什 么</template> </category> <category><pattern>*</pattern><that>* 的 型 号 是 什 么</that><template><input index="4,1"></input> 《《----</template> </category>
    测试结果:

    you say>
    hello
    Alice>吃饭了吗?
    you say>
    吃了
    Alice>我也吃了
    you say>
    你好
    Alice>计算机的型号是什么
    you say>
    345
    Alice>hello

    Input标签中的index貌似当第一个参数是几,就返回倒数第几个用户的说的话,而第二个参数好像只能是1,其他的就会出现数组越界的错误。不知道为什么?
    上面描述的标签部分还有问题,需要改进。
    另外我想说的是,在写xml语料库的时候,一定要写一点,马上重启程序测试一次,看新加的预料是否工作正常,否则你写了一堆的预料后在去测试如果出错的话,就很难跟踪到错误的地方了。
    四、项目结构总览
    五、将数据库集成到聊天机器人中5.1 为什么需要使用数据库Xml文件是AIML所支持的预料载体,而且凭借AIML提供的各种丰富的标签,作者可以设计并编写出很人性化的语料库。显然,通过这种方式写语料库的特点是灵活性很好,能很容易写出“唠嗑”类型的聊天内容。然而,当时对这个项目的定位是客服机器人,也就是说,语料库还应该包含具有业务针对的预料,这部分预料将随着业务的不同而不同。于是我想把这部分预料存储在数据库中形成动态的语料库(我把xml文件中的预料称为静态预料,也就是说这部分预料完善之后就不去频繁的修改),这样做的好处有一下几点:

    客服不用去学习怎样写xml预料,降低门槛
    可以避免xml中预料越来越凌乱,到最后难以管理
    以后可以针对数据库在开发一个语料库管理系统,方便客服管理有业务针对的这部分预料

    5.2 数据库的表是怎样设计的
    字段解释:

    Id:预料的编号,自动生成(identify)
    Createtime:该条数据创建时间,该条数据产生时自动生成(触发器)
    Lastmodifytime:最近更新时间,该条数据的可填写字段被更新时自动修改(触发器)
    Question:具体问题,自己填写
    Replay:具体回答,自己填写
    Label:标签字段(词语之间用空格隔开),里面填写的词语是要能体现question字段主题的,可以理解为一种补充说明,例:question:书是什么?那么书应该是被讨论的主题,lebel就可以填写和书意义相近的词,比如课本,教科书,教材,book,有了这个字段可以从某种程度上增强匹配效果
    Copyfield:拷贝字段,这个字段会在你填写完(或者更新)question,replay,label这3个字段后自动生成(触发器),其内容为上述3个字段的合体,期间用空格隔开。这个字段是要被索引的重点字段

    在以上的描述中,也许你会对某些字段存在的必要性产生疑惑,没有关系,在下面的叙述中也许能解决你的问题。
    5.3 数据库里面的预料怎样使用到机器人当中这就是基于lucene的处理。当程序启动的时候,程序会在载入xml语料库后,lucene就开始对数据库进行全量索引(这其实也是一种载入语料库行为),并在项目的根目录下产生相应的索引文件index以及时间戳文件(timesTamp.txt:该文件记录了当前索引行为发生的时间。将在增量索引时用到)。索引文件会在后面响应用户输入的时候用到。
    下面是索引操作的代码(在com.job包):



    其中sql语句是这样的:

    5.4 在机器人处于运行状态时修改了数据库的预料,怎样做到与客户端的同步这里将用到时间戳的概念。首先当机器人程序运行的时候,里面的一个timmer任务也会同时运行,这个任务做的工作是定期(比如每隔10秒),进行一次增量索引—-lucene中的概念。增量索引所针对的数据等同与这样一条sql语句所返回的数据,该sql语句满足的逻辑是:查找出数据库中所有Lastmodifytime字段值大于timesTamp.txt中记录的时间。那么这样,每次客服对数据库做的预料修改,都会在隔一段时间后同步到客户端。

    六、机器人怎样响应用户的输入在没有引入数据库前,只要调用Aiml提供的聊天接口就能得到一个字符串返回了,但是现在加入了数据库,那么我的处理的思路是这样的:我在xml语料库里面的*通配符所对应的templete做了标记,如下图:

    注意到上面的红点了吗?我在这个回答最前面加上了“#”的标记。逻辑如下:

    代码如下:


    七、聊天机器人学习功能实现其实之前在介绍Aiml标签的时候,有2个很重要的标签还没有介绍到,那就是\<system>和\<gossip>标签。
    在我的xml语料库中有一个文件叫Study.xml,它的内容如下:

    (ps:如果不懂这里面一些标签的功能,可以回顾之前的标签功能解释)
    我们看看这样的测试结果是什么:

    等重启聊天机器人程序的时候,问同样的问题:

    这其中都做了哪些工作呢?下面解释:
    system标签的工作原理我还不是很清楚,但是我们可以看一下AIML解析器对应的System.java里面的process方法干了什么:

    这个函数我暂时解释不清楚,但我知道上面的语料库中system标签只是会被learn函数的返回值替代。
    我重点介绍一下gossip标签的工作过程:
    首先看AIML解析器中对应的gossip.java文件的process方法干了什么:

    match参数其实已经封装了上述语料库中learn函数的返回值“你的主人帅吗:帅到爆棚”。而super.process(match)就是取出这个字符串。
    然后我们在看print函数:

    看起来像是在什么文件里面写入了什么内容,我们在看outputStream()函数:

    上述代码中的path其实就是指的这个文件:

    很显然,客户每一次对机器人“教学”的内容,都会被写入gossip.txt文件当中,而且在写操作时是append的(即不会把原来的覆盖掉)。而当每次重启机器人程序的时侯,GossipLoad.java类都会去读gossip.txt的内容,并构造一个gossip.xml文件将其写到预料库中.该类主要代码如下:

    Load函数在加载xml语料库到内存之前调用。这是必须的,因为必须先通过load函数生成gossip.xml文件后,然后统一加载到内存中去。代码如下:

    Gossip.xml中的内容如下:

    八、聊天机器人存在的不足
    数据库匹配做的不好,或者说匹配率低,而且还不是很准确
    两种语料库的结合显的有点牵强
    xml语料库的设计还是比较欠缺的,首先预料不够丰富,而且靠人工编写预料不是一个好办法
    0 评论 9 下载 2018-11-20 23:28:19 下载需要10点积分
  • 基于C#实现的支持AI人机博弈的国际象棋游戏程序

    1 背景和意义1.1 项目意义
    该项目的成功推进和完成将达到 AI 比赛过程自动化的目的,有助于比赛的顺畅、成功开展以及比赛时间的有效节约
    该项目的成果将有助于《人工智能原理》课程的学生对于自己编写的 AI 程序的测试
    该项目的成果将有助于国际象棋 AI 的后续研究和教学展示
    该项目的成果由于支持人机、机机博弈,也具有一定的游戏性和观赏价值

    1.2 项目目标完成一个图形界面国际象棋棋盘软件。它主要具备以下功能:

    图形界面显示(显示与用户交互的窗体控件、显示棋盘和棋子)
    游戏参与者加载 AI 程序
    游戏组织者选择游戏模式(自动、手动)
    游戏组织者开始游戏、进行游戏

    软件与 AI 程序通信,完成自动博弈
    游戏参与者/游戏测试者手动走子
    软件判断走法符合规则
    软件判断游戏结束(局面是否出现将军、欠行等,计时是否结束)
    软件对走子计时


    一些性能约束:

    能在时下主流的笔记本电脑(x86和x64 架构的多核 CPU)上运行
    在 Windows 7 及以上操作系统运行

    1.3 开发用语言和环境
    项目的编码用C#语言写成,图形界面用 WinForm(Windows 窗体 API)实现。
    开发环境为 Visual Studio 2017,框架为.NET Framework 4.6。

    2 详细需求描述2.1 对外接口需求2.1.1 用户界面
    UI1:唯一的一个象棋棋盘和控制窗体主界面。该界面的风格为 WinForm (Windows 风格窗体),方便熟悉 Windows 界面语言的人快速上手和操作。该界面的图示为:


    UI1.1:在载入 AI 时,应弹出填入载入 AI 信息的对话框,如下图所示:


    UI1.2:在设置选项时,应弹出含有选项的对话框,如下图所示:

    2.1.2 通信接口本软件与参赛 AI 交互使用的是操作系统的“标准输入输出”;内容协议采用 SAN 格式。
    2.2 功能需求2.2.1 图形化显示棋盘和棋子2.2.1.1特性描述 主界面显示一个 8x8 的正方形国际象棋棋盘。棋子以图形的方式显示在国际象棋 棋盘中。参赛者或组织者开始游戏或重置游戏时,应达到初始化棋盘显示的功能;游戏开始后,棋盘显示游戏的棋局,并随着双方走子不断更新显示。如 UI1 所示。
    2.2.2 加载 AI2.2.2.1 特性描述参与比赛的两方参赛者,均可以在比赛开始前在本软件中载入自己的 AI 作为进程 运行,准备参与博弈。载入内容包括“是白/黑方”、“可执行文件路径”、“执行参数”。
    2.2.2.2 刺激/响应序列
    刺激:用户点击“载入白方 AI”或载入“黑方 AI”
    响应:系统弹出对话框,用户界面如 UI1.1
    刺激:用户在可执行文件文本框中输入可执行文件路径
    响应:文本框成功接受输入
    刺激:用户在对话框中点击“浏览”
    响应:系统弹出二级对话框,允许用户浏览文件选择可执行文件
    刺激:用户选择完毕,点击“确认”


    2.2.3 以不同的模式进行游戏2.2.3.1 特性描述进行游戏可以有以下几种模式:

    其中,”人类手动”指人类利用鼠标点击棋盘上的棋子、选择其移动位置来完成走 子,”AI 自动”指本软件不经用户确认直接从 AI 读入信息完成走子,”AI 手动”指本软件需要用户手动点击“从 AI 读入”按钮才从 AI 读入信息。
    游戏组织者在开始游戏前,需要可以从本软件中选择其中一种模式。
    2.2.3.2 刺激/响应序列
    刺激:用户点击界面 UI 上的“模式选择”单选按钮
    响应:本软件接受用户的点选输入,并相应地更新 UI
    刺激:用户点击“开始游戏”
    响应:本软件进入游戏进行状态,根据选好的模式决定是否向 AI 发送其所在方(黑/白)信息,并开始从 AI 读入走子信息走子

    2.2.3.3 相关功能需求
    2.2.4 与 AI 进程通信、处理用户交互,实现自动、手动博弈;判断走子是否符合规则2.2.4.1 特性描述作为棋盘平台,本软件在象棋游戏进行过程中,要根据模式选择的不同,与 AI 进程通信以获得它们的走子信息,以及处理用户交互以获得人工走子信息,实现无组织 者人工干预的自动、手动博弈。同时,本软件还应充当裁判的作用,预防不合法的走子产生。
    2.2.4.2 刺激/响应序列
    刺激:用户点击棋盘
    响应:UI 以颜色的方式提醒用户点击是否有效合法;若有效合法,推进走子的流程
    刺激:用户成功走子
    响应:更新 UI 为走子后的局面;判断游戏是否结束并给出提醒;若对方 为 AI,向其发送走子信息
    刺激:AI 发来走子信息
    响应:判断走子信息是否有效合法;若有效合法,更新 UI 为走子后的局面;判断游戏是否结束并给出提醒;且若对方为 AI 则向其发送走子信 息。若不合法,则回送特殊信息说明走子错误
    刺激:用户点击“停止”
    响应:等待所有附加线程运行完毕,然后停止游戏,更新 UI,给出提示 “游戏已停止”
    刺激:用户点击“重置”
    响应:等待所有附加线程运行完毕,然后重置游戏,更新 UI

    2.2.4.3 相关功能需求
    2.2.5 给游戏计时2.2.5.1 特性描述由于需要控制 AI 走子的时间,故组织者需要对 AI 的走子进行计时。计时的方法是,轮到该 AI 走子时,AI 在走子前等待的时间累计起来,即是该 AI 所用的时间。
    2.2.5.2 刺激/响应序列
    刺激:由于上一步的用户手动走子或 AI 的自动走子,将主动权让给了我方 AI
    响应:本软件开始对我方 AI 的走子计时
    刺激:我方 AI 思考后走子
    响应:本软件停止对我方 AI 的走子计时,将计时的这段时间累加到我方 AI 所用时间上
    刺激:用户点击“重置”
    响应:两方 AI 的计时均归零

    2.2.5.3 相关功能需求
    2.2.6 保存比赛棋谱2.2.6.1 特性描述一场游戏结束后,组织者可能需要保存其棋谱。本软件允许组织者将比赛棋谱复制到剪贴板,以便粘贴到别处保存。
    2.2.6.2 刺激/响应序列
    刺激:组织者选择历史记录里所有走子
    响应:本软件的 UI 做出相应变化,表示组织者成功选定了这些走子
    刺激:组织者按下“Ctrl-C”键。(“复制”操作快捷键)
    相应:本软件将已经选定的走子送至操作系统的剪贴板上

    2.2.6.3 相关功能需求
    2.2.7 处理和保存用户的设置2.2.7.1 特性描述本软件应处理和保存用户的一些参数偏好,包括默认可执行文件路径、是否在运行时隐藏 AI 窗口、观棋时间、是否自动保存 AI 配置。
    2.3 性能需求
    Performance1:速度:每一步走棋所产生的相应变化需在 1 秒内完成,点击按钮后所产生的变化应在 3 秒内完成
    Performance2:负载:能够接受两个 AI 同时运行
    Performance3:适应性:在不同 Windows 版本上能够运行

    2.4 数据需求2.4.1 数据定义和格式要求本软件需要在计算机上存取的数据只有用户设置。用户设置包含如下定义和格式的数据:

    2.5 安全性需求
    Safety1:本软件的运行应对操作系统的完整性无害
    Safety2:本软件的运行应不违反操作系统规则,不导致操作系统陷入崩溃
    Safety3:本软件应不对用户的其他文件造成危害,包括修改和删除
    Safety4:本软件应对每个 Windows 用户的用户设置数据设置屏蔽,防止互通

    2.6 可靠性需求
    Reliability1:本软件不应在用户对其正常使用时突然退出、崩溃
    Reliability2:本软件不应在 AI 程序出现错误、故障、突然退出时发生故障
    Reliability2.1:本软件应该检测到 AI 出现异常,并弹窗报告用户,并停止 正在进行的游戏
    Reliability3:本软件应当合理管理分配的内存,防止出现内存泄漏
    Reliability4:本软件应当线程安全,防止多个线程同时操作一个对象产生的不 协调和错误

    2.7 用例图
    2.8 用例描述2.8.1 选择模式
    2.8.2 进行国际象棋游戏
    2.8.3 AI接受系统标准输入
    2.8.4 AI给出标准输出
    2.9 概念类图由于本软件从需求来看功能要求不多,故对于所有用例,统一绘制一个概念类图于此。

    解释:ChessGameLogic 是关于游戏运行时逻辑的类,为软件的核心; ChessGameForm 是游戏运行的窗体,充当 UI;ChessGameRule 是判断走子是否合法、游戏是否结束时用到的象棋规则类;AIProcess 和 StopWatch 分别为 AI 进程类和计时类。
    2.10 系统顺序图同概念类图,我们将所有用例集合在一起,以一个用户开启软件到进行完一局游戏的全过程绘制了系统顺序图。

    2.11 状态图
    3 整体架构描述本节将描述本软件的整体架构,从逻辑视角和组合视角来描述,采用 UML 包图、 构件图。
    3.1 逻辑视角3.1.1 体系结构设计风格本软件体系结构设计的风格采用模型-视图-控制器(Model-View-Control, MVC)风格。采用该风格的方案明显较好,因为:

    实际开发时使用 C# 结合.NET Framework,非常适合于实现 MVC 风格的体系结构
    能够促进并行开发,缩短开发时间
    该风格的部件区分明朗,便于进行体系结构设计和详细设计

    MVC 风格将整个系统分为三个部件(子系统):

    模型(Model):封装系统的数据和状态信息,也包含业务逻辑。在本软件 中,模型包含国际象棋的规则部分、国际象棋游戏进程的逻辑
    视图(View):提供业务展现,接受用户行为。在本软件中,视图包含程序 的显示窗体、控件。控件既可向用户展示信息,也可以被用户以点击的形式交互
    控制(Controller):封装系统的控制逻辑。在本软件中,控制包含用户点击 控件后触发的事件函数,以及刷新 UI 所需调用的事件函数

    构件图如下:

    3.1.2 概要功能设计和逻辑包图由于本软件的界面和控制不复杂,实现较为简单,视图和控制部件包均可只用一 个逻辑包实现;模型涉及到功能较多,用多个逻辑包实现。用包图表达的最终软件体系结构逻辑设计方案如下:

    3.2 组合视角3.2.1 开发包设计在逻辑视角的基础上,可以用组合视角对于体系结构进行开发包的设计。由于我们的项目较为简单,故采用以下的开发包设计:

    每一个组合包最多转化为一个开发包
    模型部件中依赖关系较多的包组合为一个开发包
    逻辑包中没有循环依赖需要解决,故无需再增加开发包
    为简洁,不再另设不同部件之间的接口包

    在引入.NET Framework 框架提供的类库之后,整个软件的开发包图如下:

    各包的名称、功能和依赖关系均已在图中呈现,故不另外列开发包表。
    3.2.2 运行时进程由于软件简单,故运行时排除 AI 进程外,只有一个主进程。
    3.2.3 物理部署由于软件简单,只需要一个可执行文件部署在本地计算机。
    4 模块分解对于诸模块的分解设计采用结构视角和接口视角来说明。
    4.1 模块的职责按照 MVC 的部件划分,可以直接将每个部件转换为一个大的模块:Model 模块、 View 模块、Control 模块。其职责如下:

    不同模块之间通过简单的函数调用完成连接。
    4.2 MODEL的分解Model 模块包含与象棋的状态和信息有关的对象类,如 ChessGame(以象棋规则为中心的象棋棋局类)、ChessGameLogic(以象棋游戏进程逻辑为中心的象棋棋局 类)、ChessPieces(象棋的棋子类)等。
    4.2.1 Model分解后的职责 Model 模块包含三个开发包,其职责如下表所示:

    4.2.2 Model 分解后的接口规范注:只列出对于本软件有关键作用的接口,重要性较小的接口如计时、用户设置有关的在此不列出。
    4.2.2.1 ChessGameWithRule 的接口规范
    4.2.2.2 AlProcess 的接口规范
    4.2.2.3 ChessGameLogic 的接口规范
    5 详细设计本软件详细设计的基本方法为面向对象设计方法(Object-oriented Design Method),意在将各个构件实现时,用抽象为一系列对象的方式看待。
    5.1 MODEL的分解5.1.1 模块概述和整体结构Model 模块的职责为记录软件运行的状态、象棋的局面信息,处理象棋的走子、 规则。在软件的体系结构设计中,其下分为 ChessGameWithRule、ChessGameLogic、 AIProcess 三个包,分别包含象棋规则、象棋游戏进程逻辑、AI 进程逻辑三个方面的逻 辑。后两个包可各用一个类实现,而前一个包由于构成与所实现的功能更复杂一些, 故可以用多个类来实现。
    这三个开发包的内部构造和职责、相互协作描述如下:

    ChessGameWithRule 包中的核心实现类是同名类 ChessGameWithRule(在实 际代码编写中,更名为 ChessGame)。它除了对.NET Framework 框架,以及 同一包内的一些数据结构类有依赖之外,是一个自成一体的象棋规则实现 类。一个 ChessGameWithRule 对象可以完备地从规则角度上实现一局象棋游 戏的过程。其内有包含棋盘(棋子对象构成的数组 Piece [][])、历史行棋 (Move 对象构成的列表 List<Move>)等,也有 ApplyMove(实现走子)、 GetValidMoves(获得当前所有合法走子)等具体功能方法。除此之外, ChessGameWithRule 包还包含与象棋规则有关的数据结构,如 Piece(棋 子)、Move->MoreDetailedMove(走子,MoreDetailedMove 继承自 Move,包含更多信息)、Position(位置)等等,被 ChessGameWithRule 核心类所聚合。ChessGameWithRule 还包含了一个用于处理 SAN 字符串为 Move 对象的分析函数 PgnMoveParser,便于游戏进程逻辑层面的使用。
    AIProcess 由一个同名类实现,实现一个 AI 进程的逻辑,如启动、停止、标准 输入输出的读写。它调用.NET Framework 系统类,可以控制启动、停止系统 进程,并操作标准输入输出。可以说它是系统进程与本软件的接洽。
    ChessGameLogic 由一个同名类实现,注重于象棋游戏的进程(开始、循环走 棋、何时结束游戏)来实现一局象棋游戏。由于象棋游戏的进程取决于规 则,故它依赖并使用 ChessGameWithRule 作为规则的实现。同时,它也使用 AIProcess 类,向其发送有关于黑白双方 AI 的命令,以实现机器博弈。至于人 工博弈,人类的行棋是通过用户界面,从 View 模块传导到 Control 模块,再调用 ChessGameLogic 里的 ApplyMove 实现的,不全部由ChessGameLogic 实现。

    5.1.1.1 ChessGameWithRule 内的类图
    5.1.1.2 AIProcess 内的类图
    5.1.1.3 ChessGameLogic 内的类图
    以下将不再分每一个小包进行接口规范的描述,而是直接对 Model 内的类进行接 口规范的描述。
    5.1.2 内部类的接口规范与“体系结构设计”中的 Model 接口有所重合的类接口,这里有些就省略不列出。 现将“体系结构设计”中细化的 Model 内部类接口规范描述如下。
    ChessGameWithRule 类的接口规范

    MoreDetailedMove 类的接口规范

    Piece 类(抽象类,具体棋子类的基类)的接口规范

    AIProcess 类的接口规范

    ChessGameLogic 类的接口规范

    5.1.3 Model 的动态模型由于本软件详细设计中的动态模型中,状态图的设计与软件结构是否分解为类关系不大,故动态模型中的状态图省略不画。 现将进行一盘游戏的系统顺序图扩展为详细顺序图,描绘如下:

    6 核心算法6.1 GETVALIDMOVES算法描述ChessGameWithRule.GetValidMoves 是 Model 里象棋规则实现库 ChessGameWithRule 中的一重要函数,可以获得某一方的所有允许的走子。它由两个同名重载函数实现。
    public virtual ReadOnlyCollection<MoreDetailedMove> GetValidMoves(Position from, bool returnIfAny, bool careAboutWhoseTurnItIs)
    这个函数可以将该行动方从 Position from 出发的所有可行走子返回。returnIfAny 和 careAboutWhoseTurnItIs 是内部使用和调试用参数,可以忽略。
    其具体实现如下:
    public virtual ReadOnlyCollection<MoreDetailedMove> GetValidMoves(Position from, bool returnIfAny, bool careAboutWhoseTurnItIs) { ChessUtilities.ThrowIfNull(from, "from"); Piece piece = GetPieceAt(from); if (piece == null || (careAboutWhoseTurnItIs && piece.Owner != WhoseTurn)) return new ReadOnlyCollection<MoreDetailedMove>(new List<MoreDetailedMove>()); return piece.GetValidMoves(from, returnIfAny, this, IsValidMove); }
    描述为自然语言:

    获取当前棋盘 from 位置的棋子为 piece
    如果那个位置没有棋子,直接返回空集合
    否则 ,调用这个具体棋子的多态函数 GetValidMoves,给出从 from 出发的所有 可行走子。同时,还传入当前 ChessGameWithRule 对象下的,对于本局 游戏特化的走子验证函数,方便 Piece.GetValidMoves 调用用于二次验证 走子的合法性

    public virtual ReadOnlyCollection<MoreDetailedMove> GetValidMoves(Player player, bool returnIfAny, bool careAboutWhoseTurnItIs)
    这个函数可以将该行动方(不受 Position 制约)的所有合法走子返回。
    public virtual ReadOnlyCollection<MoreDetailedMove> GetValidMoves(Player player, bool returnIfAny, bool careAboutWhoseTurnItIs) { if (careAboutWhoseTurnItIs && player != WhoseTurn) return new ReadOnlyCollection<MoreDetailedMove>(new List<MoreDetailedMove>()); List<MoreDetailedMove> validMoves = new List<MoreDetailedMove>(); for (int r = 1; r <= Board.Length; r++) { for (int f = 0; f < Board[8 - r].Length; f++) { Piece p = GetPieceAt((File)f, r); if (p != null && p.Owner == player) { validMoves.AddRange(GetValidMoves(new Position((File)f, r), returnIfAny)); if (returnIfAny && validMoves.Count > 0) { return new ReadOnlyCollection<MoreDetailedMove>(validMoves); } } } } return new ReadOnlyCollection<MoreDetailedMove>(validMoves); }
    描述为自然语言:

    初始化 validMoves 为空集
    对于棋盘上的所有格子(位置 Position)作一遍历:

    获得该格子上的棋子为 p
    若格子上有棋子(p 非空)且 p 的拥有者是 player:

    调用 同名函数 GetValidMoves,获取从该位置出发的所有合法走子
    将 validMoves 并上刚刚返回的走子集合


    返回 validMoves

    6.2 ISMOVEVALID算法描述这个函数同样属于象棋规则库。它判断某一个走子在当前游戏的进行情况中是不是合法的,这对于合法走子的生成和判定非常重要。
    public virtual bool IsValidMove(Move move, bool validateCheck, bool careAboutWhoseTurnItIs) { ChessUtilities.ThrowIfNull(move, "move"); if (move.OriginalPosition.Equals(move.NewPosition)) return false; Piece piece = GetPieceAt(move.OriginalPosition.File, move.OriginalPosition.Rank); if (careAboutWhoseTurnItIs && move.Player != WhoseTurn) return false; if (piece == null || piece.Owner != move.Player) return false; Piece pieceAtDestination = GetPieceAt(move.NewPosition); bool isCastle = pieceAtDestination is Rook && piece is King && pieceAtDestination.Owner == piece.Owner; if (pieceAtDestination != null && pieceAtDestination.Owner == move.Player && !isCastle) { return false; } else if(move is MoreDetailedMove m) if (pieceAtDestination != null && pieceAtDestination.Owner == ChessUtilities.GetOpponentOf(move.Player)) { m.IsCapture = true; m.CapturedPiece = pieceAtDestination; } if (!piece.IsValidMove(move, this)) { return false; } if (validateCheck) { if (!isCastle && WouldBeInCheckAfter(move, move.Player)) { return false; } } return true; }
    自然语言描述如下:

    若 move 为空

    返回 false
    获取 move 的源位置的行、列,并以此获取该位置的棋子到 piece
    若 piece 为空或不是本方棋子

    返回 false
    获取 move 的目标位置的,并以此获取目标位置的棋子到 pieceAtDestination
    对于 move 是王车易位的情况作特殊判断,若王车易位不合法:

    返回 false
    调用该 piece 的 IsValidMove 函数,获知该棋子能否如此移动。若不能:

    返回 false
    若该走子非王车易位,且走子后会陷入将军:

    返回 false
    返回 true
    1 评论 15 下载 2018-11-20 09:05:53 下载需要12点积分
  • 基于C++实现的坦克大战游戏

    游戏介绍


    上面分别是下一次要改变的方向,是上、左的时候,原始状态的不同情况;右、下类似
    已移动后,不擦除原来的障碍物为第一出发点
    走到这种状态,是有前提的,这点很重要,也是能处理好的根本原因;不会凭空,走到某种状态
    符合行为规范

    注意:关于同类坦克情况,禁止互相跨越的时候,和这个障碍物的判断,还有所不同,这个 判断,要完全按照9格处理,否则,会导致无法移动;
    1 子弹和坦克数据结构
    2 子弹组织成链表结构敌方坦克的移动和发射子弹,主要考虑在单线程下,如何判断——时间差。
    另外,在控制坦克移动时,可以使用的逻辑,但是,也要注意下,按键去抖。

    3 游戏设计子弹遇到边界或这敌方子弹,消失的时候,对应要free掉产生时的空间,同时,维持链表结 构不被破坏。
    子弹遇到敌方坦克,敌方坦克消失,这个处理,可以在相遇的位置,设置一个不同的值;坦 克移动的时候,检查,它的值是不是包含这个,包含,证明自己被击中,就要销毁掉它的数 据结构,尤其注意子弹的销毁。
    关于,存档,如果杀死了一个坦克,这时候保存,要注意消失的是哪个,因此,需要记录下 标;不过,后来,设计的时候,每死掉一个坦克,就会自动产生一个,因此,这个也算是一 个预留的接口吧。
    单线程处理起来,有时候,会感觉到控制坦克时,有时候会很快,有时候,会比较慢,这也 体现出了一定的局限性。
    另外,最为重要的一点,思想要灵活,各种语言的规范,规矩,互相之间,可以在遵循某些 情况的前提下,进行变通和引进。
    记录至此;至于画图,等其他功能,和贪食蛇基本类似,可以拿来主义。
    4 游戏演示


    1 评论 50 下载 2018-11-06 18:55:18 下载需要8点积分
显示 30 到 45 ,共 15 条
eject