文字是人從日常交流中語音中演化出來，用來記錄信息的重要工具。文字對于人類意義非凡，以中國為例，中國地大物博，各個地方的口音都不統(tǒng)一，但是人們使用同一套書寫體系，使得即使遠(yuǎn)隔千里，我們依然能夠通過文字進(jìn)行無障礙的溝通。文字也能夠跨越時(shí)空，給予了我們了解古人的通道。隨著計(jì)算機(jī)的誕生，文字也進(jìn)行了數(shù)字化的進(jìn)程，但是不同于人類，讓計(jì)算機(jī)能夠正確地進(jìn)行字符識別是一個復(fù)雜又艱巨但意義重大的工作。從計(jì)算機(jī)誕生開始，無數(shù)的研究者在這方面做了很多工作與嘗試，但面臨的困難艱巨。

其中場景文字識別中主要面臨的困難是：

（1）場景復(fù)雜變化很大；

（2）字體形態(tài)顏色多變；

（3）光照條件變化大；

（4）文字排列方式不確定；

（5）文本行與文本行之間的距離，大小格式，字體變化大。

而深度學(xué)習(xí)的引入，使得在我們在復(fù)雜場景下進(jìn)行字符識別更為便利。

本項(xiàng)目通過使用pytorch搭建resnet遷移學(xué)習(xí)模型實(shí)現(xiàn)對復(fù)雜場景下字符的識別。其模型訓(xùn)練過程如下圖可見：

# 1.基本介紹#

文字是人從日常交流中語音中演化出來，用來記錄信息的重要工具。文字對于人類意義非凡，以中國為例，中國地大物博，各個地方的口音都不統(tǒng)一，但是人們使用同一套書寫體系，使得即使遠(yuǎn)隔千里，我們依然能夠通過文字進(jìn)行無障礙的溝通。文字也能夠跨越時(shí)空，給予了我們了解古人的通道。隨著計(jì)算機(jī)的誕生，文字也進(jìn)行了數(shù)字化的進(jìn)程，但是不同于人類，讓計(jì)算機(jī)能夠正確地進(jìn)行字符識別是一個復(fù)雜又艱巨但意義重大的工作。從計(jì)算機(jī)誕生開始，無數(shù)的研究者在這方面做了很多工作與嘗試，但面臨的困難艱巨。

1.1 環(huán)境要求

本次環(huán)境使用的是python3.6.5+windows平臺。

主要用的庫有：Opencv-python模塊、Pillow模塊、PyTorch模塊。

Opencv-python模塊：

opencv-python是一個Python綁定庫，旨在解決計(jì)算機(jī)視覺問題。其使用Numpy，這是一個高度優(yōu)化的數(shù)據(jù)庫操作庫，具有MATLAB風(fēng)格的語法。所有Opencv數(shù)組結(jié)構(gòu)都轉(zhuǎn)換為Numpy數(shù)組。這也使得與使用Numpy的其他庫（如Scipy和Matplotlib）集成更容易。

Pillow模塊：

Pillow是Python里的圖像處理庫，它提供了了廣泛的文件格式支持和強(qiáng)大的圖像處理能力，主要包括圖像儲存、圖像顯示、格式轉(zhuǎn)換以及基本的圖像處理操作等。

PyTorch模塊

PyTorch是一個基于Torch的Python開源機(jī)器學(xué)習(xí)庫，用于自然語言處理等應(yīng)用程序。它主要由Facebookd的人工智能小組開發(fā)，不僅能夠?qū)崿F(xiàn)強(qiáng)大的GPU加速，同時(shí)還支持動態(tài)神經(jīng)網(wǎng)絡(luò)，這一點(diǎn)是現(xiàn)在很多其他的主流框架都不支持的。PyTorch還提供了兩個高級功能：1.具有強(qiáng)大的GPU加速的張量計(jì)算2.包含自動求導(dǎo)系統(tǒng)的深度神經(jīng)網(wǎng)絡(luò) 除了Facebook之外，Twitter、GMU和Salesforce等機(jī)構(gòu)都采用了PyTorch。

1.2 遷移模型

遷移學(xué)習(xí)是通過從已學(xué)習(xí)的相關(guān)任務(wù)中轉(zhuǎn)移知識來改進(jìn)學(xué)習(xí)的新任務(wù)，雖然大多數(shù)機(jī)器學(xué)習(xí)算法都是為了解決單個任務(wù)而設(shè)計(jì)的，但是促進(jìn)遷移學(xué)習(xí)的算法的開發(fā)是機(jī)器學(xué)習(xí)社區(qū)持續(xù)關(guān)注的話題。

由下圖可以看出遷移學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)的區(qū)別，在傳統(tǒng)機(jī)器學(xué)習(xí)的學(xué)習(xí)過程中，我們試圖單獨(dú)學(xué)習(xí)每一個學(xué)習(xí)任務(wù)，即生成多個學(xué)習(xí)系統(tǒng)；而在遷移學(xué)習(xí)中，我們試圖將在前幾個任務(wù)上學(xué)到的知識轉(zhuǎn)移到目前的學(xué)習(xí)任務(wù)上，從而將其結(jié)合起來。

# 2.算法模型#

在這里我們使用的是resnet模型對圖像進(jìn)行特征提取。其中圖像特征提取通常使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí)，由于字符識別相較于物體分類的不同，通常不會完全照搬分類網(wǎng)絡(luò)來直接進(jìn)行圖形特征提取，會在分類網(wǎng)絡(luò)的基礎(chǔ)上為了適應(yīng)目標(biāo)任務(wù)的改進(jìn)。

由于卷積神經(jīng)網(wǎng)絡(luò)會受到感受野的限制，因此提出了需要使用序列特征提取模型對特征進(jìn)行建模，學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)提取到的圖像特征之間的上下文關(guān)系。

2.1 數(shù)據(jù)集準(zhǔn)備

在這里我們將訓(xùn)練的數(shù)據(jù)集分成了訓(xùn)練集、測試集和驗(yàn)證集三部分。其中準(zhǔn)備的數(shù)據(jù)集如下：

2.2 數(shù)據(jù)處理

為了保證每次運(yùn)行模型效果基本相同，這里設(shè)置隨機(jī)種子，同時(shí)torch.backends.cudnn.deterministic將這個flag置為True。然后進(jìn)行圖像變換transforms，shffule=True在表示不同批次的數(shù)據(jù)遍歷時(shí)，打亂順序。num_workers=0表示使用0個子進(jìn)程來加載數(shù)據(jù)。代碼如下：

SVHNDataset(train_path, train_label,
                    transforms.Compose([
                        # 圖像尺寸變換（resize） ——transforms.Resize
                        transforms.Resize((64, 128)),
                        # 隨機(jī)裁剪：transforms.RandomCrop。size（sequence 或int）
                        transforms.RandomCrop((60, 120)),
                        # 修改亮度、對比度和飽和度：transforms.ColorJitter。亮度。對比度。飽和度。。。
                        transforms.ColorJitter(0.3, 0.3, 0.2),
                        # 隨機(jī)旋轉(zhuǎn)：transforms.RandomRotation。degrees（sequence 或float或int） -要選擇的度數(shù)范圍
                        transforms.RandomRotation(5),
                        # 將PIL Image或者 ndarray 轉(zhuǎn)換為tensor，并且歸一化至[0-1]
                        transforms.ToTensor(),
                        # 標(biāo)準(zhǔn)化：transforms.Normalize。用平均值和標(biāo)準(zhǔn)偏差歸一化張量圖像。mean每個通道的均值序列。std每個通道的標(biāo)準(zhǔn)偏差序列。
                        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
                    ])),
        batch_size=40,
        shuffle=True,
        num_workers=0
)

2.3 resnet模型搭建

這里采用的resnet18模型是由17個卷積層（conv)+1個全連接層（fc）構(gòu)成。其中使用resnet模型的主要優(yōu)勢在于，當(dāng)逐漸增加神經(jīng)網(wǎng)絡(luò)的深度時(shí)，網(wǎng)絡(luò)難以學(xué)習(xí)恒等函數(shù)的參數(shù)，導(dǎo)致最后的訓(xùn)練效果往往達(dá)不到預(yù)期，也會影響網(wǎng)絡(luò)性能。殘差網(wǎng)絡(luò)學(xué)習(xí)恒等函數(shù)比較容易，可將添加的網(wǎng)絡(luò)層看成一個個殘差塊。例如，一個20層的普通網(wǎng)絡(luò)，每兩層之間通過跳躍連接構(gòu)成一個殘差塊，那么這個普通網(wǎng)絡(luò)就成為一個由10個殘差塊構(gòu)成的殘差網(wǎng)絡(luò)。網(wǎng)絡(luò)性能不僅沒有下降，而且甚至有所提高。普通網(wǎng)絡(luò)轉(zhuǎn)化為殘差網(wǎng)絡(luò)也比較容易，只需要加入殘差塊即可。殘差網(wǎng)絡(luò)大大提高了網(wǎng)絡(luò)層數(shù)，通過殘差映射的方式進(jìn)行擬合，簡單易操作，同時(shí)提高了準(zhǔn)確率。

設(shè)置resnet18網(wǎng)絡(luò)模型，進(jìn)行遷移學(xué)習(xí)，保留resnet18網(wǎng)絡(luò)的卷積網(wǎng)絡(luò)部分，并保留預(yù)訓(xùn)練參數(shù)。然后設(shè)計(jì)自適應(yīng)平均池化函數(shù)，即不管之前的特征圖尺寸為多少，只要設(shè)置為(1,1)，那么最終特征圖大小都為(1,1)，然后把resnet18模型除了最后一個全連接層之外的各個網(wǎng)絡(luò)層提取出來，并設(shè)置5個全連接層，分別對應(yīng)5個可能的街道字符的識別。

def __init__(self):
    super(SVHN_Model1, self).__init__()
    model_conv = models.resnet18(pretrained=True)
    model_conv.avgpool = nn.AdaptiveAvgPool2d(1)
    model_conv = nn.Sequential(*list(model_conv.children())[:-1])
    self.cnn = model_conv
    self.fc1 = nn.Linear(512, 11)
    self.fc2 = nn.Linear(512, 11)
    self.fc3 = nn.Linear(512, 11)
    self.fc4 = nn.Linear(512, 11)
    self.fc5 = nn.Linear(512, 11)
def forward(self, img):
    feat = self.cnn(img)
    feat = feat.view(feat.shape[0], -1)
    c1 = self.fc1(feat)
    c2 = self.fc2(feat)
    c3 = self.fc3(feat)
    c4 = self.fc4(feat)
    c5 = self.fc5(feat)
    # c6 = self.fc6(feat)
    return c1, c2, c3, c4, c5  # , c6

完整代碼鏈接：

https://pan.baidu.com/s/1UpIq9XSlWxSotE0fama3Vw 提取碼：gcwu