CVDL - 经典网络解析
六、经典网络解析
经典卷积神经网络的解析。
ImageNet大规模视觉识别挑战赛
ImageNet Large Scale Visual Recognition Challenge (ILSVRC)
计算机视觉领域最具权威的学术竞赛之一
ImageNet数据集——由斯坦福大学李飞飞教授主导制作,其包含了超过1400万张全尺寸的有标记图片
ILSVRC从ImageNet数据集中抽出子集作为竞赛数据
2012年ILSVRC——1281167张训练集,50000张验证集,100000张测试集。
经典网络
AlexNet
ZFNet
VGG
GoogleNet
ResNet
6.1 AlexNet
验证了深度卷积神经网络的高效性。
主体贡献
提出了一种卷积层加全连接层的卷积神经网络结构
首次使用ReLU函数做为神经网络的激活函数
首次提出Dropout正则化来控制过拟合
使用加入动量的小批量梯度下降算法加速了训练过程的收敛;
使用数据增强策略极大地抑制了训练过程的过拟合;
利用了GPU的并行计算能力,加速了网络的训练与推断。
层次
AlexNe ...
CVDL - 卷积神经网络
五、卷积神经网络
5.0-1 卷积与图像去噪
图像去噪与卷积
卷积的定义
令F为图像,H为卷积核,F与H的卷积记为R=F∗HRij=∑u,vHi−u,j−vFu,v令F为图像,H为卷积核,F与H的卷积记为R = F * H \\
R_{ij} = \sum_{u,v} H_{i-u,j-v} F_{u,v}
令F为图像,H为卷积核,F与H的卷积记为R=F∗HRij=u,v∑Hi−u,j−vFu,v
本质上,是使用 HHH 将 FFF 卷积到域 RRR 。
卷积性质
叠加性: filter(f1+f2)=filter(f1)+filter(f2)filter(f_1 + f_2) = filter(f_1) + filter(f_2)filter(f1+f2)=filter(f1)+filter(f2)
平移不变性: filter(shift(f))=shift(filter(f))filter(shift(f)) = shift(filter(f))filter(shift(f))=shift(filter(f))
交换律: a∗b=b∗aa*b = b ...
CVDL - 全连接神经网络
四、全连接神经网络
4.0 整体架构
图像表示
与前面一样,直接利用原始像素作为特征,展开为列向量。
4.1 多层感知器
回顾前面,线性分类器是:
全连接神经网络:
全连接神经网络级联多个变换来实现输入到输出的映射。
注:非线性操作是不可以去掉!
理解权值
全联接神经网络的描述能力更强。
因为调整 W1W_1W1 行数 等于 增加模板个数,分类器有机会学到两个不同方向的马的模板。
线性可分:线性分类器
线性不可分:全连接神经网络
绘制
命名
4.2 激活函数
激活函数是全连接神经网络中的一个重要部分,缺少了激活函数,全连接神经网络将退化为线性分类器。
必要性
常用的激活函数
网络结构设计
用不用隐层,用一个还是用几个隐层?(深度设计)
每隐层设置多少个神经元比较合适?(宽度设计)
没有统一的答案!
结论:
神经元个数越多,分界面就可以越复杂,在这个集合上的分类能力就越强。
依据分类任务的难易程度来调整神经网络模型的复杂程度。
...
CVDL - 线性分类器
三、线性分类器
为什么从线性分类器开始?
形式简单、易于理解
通过层级结构(神经网络)或者高维映射(支撑向量机)可以形成功能强大的非线性模型
线性分类器体验
3.1 定义
线性分类器
是一种线性映射,将输入的图像特征映射为类别分数。
示例
3.2 参数
矩阵表示
权值向量
决策边界
3.3 图像表示
将图像转换成向量的方法有很多,这里我们用一种最简单的方法,直接将图像矩阵转换成向量。
3.4 损失函数
对示例样本,分类器1与分类器2的分类谁的效果更好?
需要损失函数来帮忙!
损失函数搭建了模型性能与模型参数之间的桥梁,指导模型参数优化。
损失函数是一个函数,用于度量给定分类器的预测值与真实值的不一致程度,其输出通常是一个非负实值。
其输出的非负实值可以作为反馈信号来对分类器参数进行调整,以降低当前示例对应的损失值,提升分类器的分类效果。
一般定义
多类支撑向量机损失
示例
疑问
多类支撑向量机损失 L 的最大/最小值会是多少?
最大:无穷大
最小:0
...
CVDL - 前言、简介
CVDL - 前言、简介
来源:B站 - 计算机视觉与深度学习 北京邮电大学 鲁鹏 清晰版合集(完整版)
学习笔记@isSeymour
pdf 版 见本站右上角 功能 - 下载 - 文本类
起止:2024-05-04 ~ 2024-06-00
[TOC]
一、前言
本课程参考 CS231n: Convolutional Neural Networks for Visual Recognition
1.1 计算机视觉简介
什么是计算机视觉?
计算机视觉的目标
跨越“语义鸿沟”建立像素到语义的映射
图形包含哪些信息?
研究进展
动画产业
三维建模
摄影
生物识别
光学字符识别 OCR
谷歌地图
家用型机器人
视觉搜索
穿戴设备
无人驾驶
新零售
人机交互
增强现实
太空探索
医学图像
气象学
1.2 课程介绍
本课程聚焦于视觉识别任务中最为基础、也是最为重要的一个任务——图像分类任务。
视觉识别中与图像分类任务相关的任务有很多,其中比较典型的包括目标检测、图像分割、图像描述、图像生成等。
对于视觉识别任务而言, 目前最 ...
同济@复旦第一届网络安全竞赛WP
同济@复旦第一届网络安全竞赛 Write up
选手
1用户名:isseymour
目录
[TOC]
一、WEB
题目:游戏
打开调试,查看源代码
读懂代码逻辑,一般来说,游戏都是最后会有个 GameOver或者success之类的。
本题发现是在 g._f_()里面会输出胜利的结果。
我直接把在g.state_GAMEOVER里加入这个函数执行,使得最后结束一定会输出成功的逻辑。
至此,只需要直接进入一局游戏,直接死掉即可。
得到 flag (见下图)
1flag{java3cr1qtG3}
题目:laohuji
一看是个老虎机游戏,那就是猜数字了。
查看源代码,发现在下面的代码是核心:
123456789101112131415161718192021<script>function numRand() { var x = 9999; //上限 var y = 1111; //下限 var rand = parseInt(Math.random() * (x - y + ...
《信息安全工程》实验内容
《信息安全工程》实验内容
来源:《信息安全工程》钟计东老师 课件
2024-05-09 ~ 06-07@Seymour
前置内容
前置内容有录制视频 虚拟机-前置内容
安装XP
原PPT全文都挺干货的,请直接看PPT:02-IS-VM.pdf | 下载 - 文本类
下面摘要一些可能的知识点(不是必做实验)
网段
VMWare 支持多个网段
每个网段相当于一个广播型的以太网络(Ethernet)
网段连接模式
VM网段设置有几种模式
桥接模式
NAT模式
仅主机模式 host-only
LAN模式
区别主要在于和外部网络的连接方式,
桥接模式和NAT模式可以访问外部网络,而后两种不能。
LAN访问不提供DHCP服务,提供更多网段
网段设置:在 VMware 的封面上方工具栏 | 编辑 | 虚拟网络编辑器
虚拟机网络设置:右键虚拟机 | 设置 | 网络适配器 | 自定义 | 选择网段
注:更换网络连接方式时,可以打开本地连接设置查看连接状态,发现“无效IP地址“可以点击修复,会清除缓存。
桥接模式
将主机和虚拟机放在主机所在的物 ...
《图解密码技术》Notes
《图解密码技术》Notes
来源:[图解入门系列] 结城浩-图解密码技术(2016,人民邮电出版社)
2024-05-02@isSeymour
[TOC]
第一部分 密码
第 1 章 环游密码世界
1.1 对称密码与公钥密码
对称密码 Symmetric Cryptography
加密和解密时使用同一密钥。
公钥密码 Public-key Cryptography
加密和解密时使用不同密钥。
混合密码系统 Hybrid Cryptosystem
结合对称密码和公钥密码的优势。
1.2 密码学家的工具箱
对称密码
公钥密码
单向散列函数
消息认证码
数字签名
伪随机数生成器
1.3 威胁与技术
1.4 隐写术、数字水印
密码隐藏的是内容,
隐写术隐藏的是消息本身。
1.5 密码与信息安全常识
不要使用保密的密码算法。
(隐蔽式安全 security by obsecurity,危险且愚蠢)
使用低强度的密码比不使用密码更加危险。
(这通常会使得用户在通信时麻痹大意)
任何密码总有一天都会被破解。
(严格来说,绝对不会被破解的密码算法存在,即 ...
《Pytorch Tutorial》Notes(初稿)
《Pytorch Tutorial》Notes(初稿)
来源:《PyTorch深度学习实践》完结合集
2024-03-31~04-02 @isSeymour
[TOC]
01、Overview
1.1 引入
预测与推理
1.2 分类与历史
scikit-learn
历史
思考:降维
思考:降维的意义与原理
意义
意义:根据大数定律,当数据量足够大时,样本数据频率就能基本代表真实分布。
因此,我们希望能在有限但足够的数据量下,完成这个目标。
我们假设每一个特征,需要10个数据量,才能达到大数定律的要求。
那么当特征是两个(二维)时,那么将需要 10^2^ 个才能同时使得二维特征都达到大数定律要求;
若三维,则需要 10^3^ 个数据量;
以此类推,所需数据量将爆炸!——这就是“维度诅咒”。
因此,降维迫在眉睫,降维才能使得有限的数据量更加有效地反应真实分布。
原理
原理:
假设有10个数据量,每个数据量都是n维特征量,而我们希望降维到三维。
实际上,就是将一个 [x]n×10[x]_{n\times 1 ...
LaTeX数学公式总览
LaTeX数学公式总览
来源:
CSDN:使用Markdown语法编写数学公式(详细版)
知乎:【LaTeX】 | 矩阵,行列式,单边括号
2024-03-02@isSeymour
记录笔记时,会经常编写 LaTex 或 MarDown 的数学公式。
这里,我尽可能地把所有可能会使用到的数学公式符号都记录下来,以便查阅。
1 希腊字母
2 数学帽标
3 分隔符
4 变值符号
5 标准函数名
6 二元操作、关系运算
7 箭头
8 混合符号
9 上下角标
123456789101112131415$$\sin^2(\theta) + \cos^2(\theta) = 1$$$$\sum_{n=1}^\infty k$$$$\int_a^bf(x)\,dx$$$$\lim\limits_{x\to\infty}\exp(-x) = 0$$
10 矩阵
matrix 语法
无包含
1234567$$\begin{matrix}0&1&2\\3&4&5\ ...