GO 入门指南
  • README
  • 开始
    • 前言
  • 第一部分:学习 Go 语言
    • 第1章:Go 语言的起源,发展与普及
      • 起源与发展
      • 语言的主要特性与发展的环境和影响因素
    • 第2章:安装与运行环境
      • 平台与架构
      • Go 环境变量
      • 在 Linux 上安装 Go
      • 在 Mac OS X 上安装 Go
      • 在 Windows 上安装 Go
      • 安装目录清单
      • Go 运行时(runtime)
      • Go 解释器
    • 第3章: 编辑器、集成开发环境与其它工具
      • Go 开发环境的基本要求
      • 编辑器和集成开发环境
      • 调试器
      • 构建并运行 Go 程序
      • 格式化代码
      • 生成代码文档
      • 其它工具
      • Go 性能说明
      • 与其它语言进行交互
  • 第二部分:语言的核心结构与技术
    • 第4章:基本结构和基本数据类型
      • 文件名、关键字与标识符
      • Go 程序的基本结构和要素
      • 常量
      • 变量
      • 基本类型和运算符
      • 字符串
      • strings 和 strconv 包
      • 时间和日期
      • 指针
    • 第5章:控制结构
      • if-else 结构
      • 测试多返回值函数的错误
      • switch 结构
      • for 结构
      • Break 与 continue
      • 标签与 goto
    • 第6章:函数(function)
      • 介绍
      • 函数参数与返回值
      • 传递变长参数
      • defer 和追踪
      • 内置函数
      • 递归函数
      • 将函数作为参数
      • 闭包
      • 应用闭包:将函数作为返回值
      • 使用闭包调试
      • 计算函数执行时间
      • 通过内存缓存来提升性能
    • 第7章:数组与切片
      • 声明和初始化
      • 切片
      • For-range 结构
      • 切片重组(reslice)
      • 切片的复制与追加
      • 字符串、数组和切片的应用
    • 第8章:Map
      • 声明、初始化和 make
      • 测试键值对是否存在及删除元素
      • for-range 的配套用法
      • map 类型的切片
      • map 的排序
      • 将 map 的键值对调
    • 第9章:包(package)
      • 标准库概述
      • regexp 包
      • 锁和 sync 包
      • 精密计算和 big 包
      • 自定义包和可见性
      • 为自定义包使用 godoc
      • 使用 go install 安装自定义包
      • 自定义包的目录结构、go install 和 go test
      • 通过 Git 打包和安装
      • Go 的外部包和项目
      • 在 Go 程序中使用外部库
    • 第10章:结构(struct)与方法(method)
      • 结构体定义
      • 使用工厂方法创建结构体实例
      • 使用自定义包中的结构体
      • 带标签的结构体
      • 匿名字段和内嵌结构体
      • 方法
      • 类型的 String() 方法和格式化描述符
      • 垃圾回收和 SetFinalizer
    • 第11章:接口(interface)与反射(reflection)
      • 接口是什么
      • 接口嵌套接口
      • 类型断言:如何检测和转换接口变量的类型
      • 类型判断:type-switch
      • 测试一个值是否实现了某个接口
      • 使用方法集与接口
      • 第一个例子:使用 Sorter 接口排序
      • 第二个例子:读和写
      • 空接口
      • 反射包
      • Printf 和反射
      • 接口与动态类型
      • 总结:Go 中的面向对象
      • 结构体、集合和高阶函数
  • 第三部分:Go 高级编程
    • 第12章:读写数据
      • 读取用户的输入
      • 文件读写
      • 文件拷贝
      • 从命令行读取参数
      • 用 buffer 读取文件
      • 用切片读写文件
      • 用 defer 关闭文件
      • 使用接口的实际例子:fmt.Fprintf
      • JSON 数据格式
      • XML 数据格式
      • 用 Gob 传输数据
      • Go 中的密码学
    • 第13章:错误处理与测试
      • 错误处理
      • 运行时异常和 panic
      • 从 panic 中恢复(Recover)
      • 自定义包中的错误处理和 panicking
      • 一种用闭包处理错误的模式
      • 启动外部命令和程序
      • Go 中的单元测试和基准测试
      • 测试的具体例子
      • 用(测试数据)表驱动测试
      • 性能调试:分析并优化 Go 程序
    • 第14章:协程(goroutine)与通道(channel)
      • 并发、并行和协程
      • 协程间的信道
      • 协程的同步:关闭通道-测试阻塞的通道
      • 使用 select 切换协程
      • 通道、超时和计时器(Ticker)
      • 协程和恢复(recover)
      • 新旧模型对比:任务和worker
      • 惰性生成器的实现
      • 实现 Futures 模式
      • 复用
      • 限制同时处理的请求数
      • 链式协程
      • 在多核心上并行计算
      • 并行化大量数据的计算
      • 漏桶算法
      • 对Go协程进行基准测试
      • 使用通道并发访问对象
    • 第15章:网络、模版与网页应用
      • tcp 服务器
      • 一个简单的 web 服务器
      • 访问并读取页面数据
      • 写一个简单的网页应用
      • 确保网页应用健壮
      • 用模板编写网页应用
      • 探索 template 包
      • 精巧的多功能网页服务器
      • 用 rpc 实现远程过程调用
      • 基于网络的通道 netchan
      • 与 websocket 通信
      • 用 smtp 发送邮件
  • 第四部分:实际应用
    • 第16章:常见的陷阱与错误
      • 误用短声明导致变量覆盖
      • 误用字符串
      • 发生错误时使用 defer 关闭一个文件
      • 何时使用new()和make()
      • 不需要将一个指向切片的指针传递给函数
      • 使用指针指向接口类型
      • 使用值类型时误用指针
      • 误用协程和通道
      • 闭包和协程的使用
      • 糟糕的错误处理
    • 第17章:模式
      • 逗号 ok 模式
      • defer 模式
      • 可见性模式
      • 运算符模式和接口
    • 第18章:出于性能考虑的实用代码片段
      • 字符串
      • 数组和切片
      • 映射
      • 结构体
      • 接口
      • 函数
      • 文件
      • 协程(goroutine)与通道(channel)
      • 网络和网页应用
      • 其他
      • 出于性能考虑的最佳实践和建议
    • 第19章:构建一个完整的应用程序
      • 简介
      • 短网址项目简介
      • 数据结构
      • 用户界面:web 服务端
      • 持久化存储:gob
      • 用协程优化性能
      • 以 json 格式存储
      • 多服务器处理架构
      • 使用代理缓存
      • 总结和增强
    • 第 20 章:Go 语言在 Google App Engine 的使用
      • 什么是 Google App Engine?
      • 云上的 Go
      • 安装 Go App Engine SDK:为 Go 部署的开发环境
      • 建造你自己的 Hello world 应用
      • 使用用户服务和探索其 API
      • 处理窗口
      • 使用数据存储
      • 上传到云端
    • 第 21 章:真实世界中 Go 的使用
      • Heroku:一个使用 Go 的高度可用一致数据存储
      • MROffice:一个使用 Go 的呼叫中心网络电话 (eBook/VOIP) 系统
      • Atlassian:一个虚拟机群管理系统
      • Camilistore:一个可寻址内容存储系统
      • Go 语言的其他应用
  • 附录
    • 其他
      • 关于本文16.10.2小结糟糕错误处理的一些见解
    • A 代码引用
    • B 有趣的 Go 引用
    • C 代码示例列表
      • 目录
      • 第2章示例
      • 第3章示例
      • 第4章示例
      • 第5章示例
      • 第6章示例
      • 第7章示例
      • 第8章示例
      • 第9章示例
      • 第10章示例
      • 第11章示例
      • 第12章示例
      • 第13章示例
      • 第14章示例
      • 第15章示例
      • 第16章示例
      • 第19章示例
      • 第20章示例
    • D 书中的包引用
    • E 书中的工具引用
    • F 常见问题解答
    • G 习题答案
      • 第4章答案
      • 第5章答案
      • 第6章答案
      • 第7章答案
      • 第8章答案
      • 第9章答案
      • 第10章答案
      • 第11章答案
      • 第12章答案
      • 第13章答案
      • 第14章答案
      • 第15章答案
      • 第16章答案
      • 第19章答案
      • 第20章答案
    • H 参考文献
Powered by GitBook
On this page
  • 版本 1 - 数据结构和前端界面
  • 19.3 数据结构
  • 使程序线程安全
  • 使用 defer 简化代码
  • URLStore 工厂函数
  • 使用 URLStore
  • 链接

Was this helpful?

  1. 第四部分:实际应用
  2. 第19章:构建一个完整的应用程序

数据结构

Previous短网址项目简介Next用户界面:web 服务端

Last updated 2 years ago

Was this helpful?

版本 1 - 数据结构和前端界面

第 1 个版本的代码 goto_v1 见 。

19.3 数据结构

(本节代码见 。)

当程序运行在生产环境时,会收到很多短网址的请求,同时会有一些将长 URL 转换成短 URL 的请求。我们的程序要以什么样的结构存储这些数据呢?中 (A) 和 (B) 两种 URL 都是字符串,此外,它们相互关联:给定键 (B) 能获取到值 (A),他们互相映射 (map)。要将数据存储在内存中,我们需要这种结构,它们几乎存在于所有的编程语言中,只是名称有所不同,例如“哈希表”或“字典”等。

Go 语言就有这种内建的映射 (map):map[string]string。

键的类型写在 [ 和 ] 之间,紧接着是值的类型。有关映射的所有知识详见 。为特定类型指定一个别名在严谨的程序中非常实用。Go 语言中通过关键字 type 来定义,因此有定义:

type URLStore map[string]string

它从短 URL 映射到长 URL,两者都是字符串。

要创建那种类型的变量,并命名为 m,使用:

m := make(URLStore)

假设 http://goto/a 映射到 http://google.com/ ,我们要把它们存储到 m 中,可以用如下语句:

m["a"] = "http://google.com/"

(键只是 http://goto/ 的后缀,其前缀总是不变的。)

要获得给定 "a" 对应的长 URL,可以这么写:

url := m["a"]

此时 url 的值等于 http://google.com/。

注意,使用了 := 就不需要指明 url 的类型为 string,编译器会从右侧的值中推断出来。

使程序线程安全

import "sync"
type URLStore struct {
	urls map[string]string		// map from short to long URLs
	mu sync.RWMutex
}

RWMutex 有两种锁:分别对应读和写。多个客户端可以同时设置读锁,但只有一个客户端可以设置写锁(以排除所有的读锁),有效地串行化变更,使他们按顺序生效。

我们将在 Get() 函数中实现 Redirect 服务的读请求,在 Set 函数中实现 Add 服务的写请求。Get() 函数类似下面这样:

func (s *URLStore) Get(key string) string {
	s.mu.RLock()
	url := s.urls[key]
	s.mu.RUnlock()
	return url
}

Set() 函数同时需要 URL 的键值对,且必须放置写锁 Lock() 来排除同一时刻任何其他更新操作。函数返回布尔值 true 或 false 来表示 Set() 操作是否成功:

func (s *URLStore) Set(key, url string) bool {
	s.mu.Lock()
	_, present := s.urls[key]
	if present {
		s.mu.Unlock()
		return false
	}
	s.urls[key] = url
	s.mu.Unlock()
	return true
}

形式 _, present := s.urls[key] 可以测试 map 中是否已经包含该键,包含则 present 为 true,否则为 false。这种形式称为“逗号 ok 模式”,在 Go 代码中会频繁出现。如果键已存在,Set() 函数直接返回布尔值 false,map 不会被更新(这样可以保证短 URL 不会重复)。如果键不存在,把它加入 map 中并返回 true。左侧 _ 是一个值的占位符,赋值给 _ 来表明我们不会使用它。注意在更新后尽早调用 Unlock() 来释放对 URLStore 的锁定。

使用 defer 简化代码

Get() 可以简化成以下代码(我们消除了本地变量 url):

func (s *URLStore) Get(key string) string {
	s.mu.RLock()
	defer s.mu.RUnlock()
	return s.urls[key]
}

Set() 的逻辑在某种程度上也变得清晰了(我们不用再考虑解锁的事了):

func (s *URLStore) Set(key, url string) bool {
	s.mu.Lock()
	defer s.mu.Unlock()
	_, present := s.urls[key]
	if present {
		return false
	}
	s.urls[key] = url
	return true
}

URLStore 工厂函数

URLStore() 结构体中包含 map 类型的字段,使用前必须先用 make() 初始化。在 Go 中创建一个结构体实例,一般是通过定义一个前缀为 New,能返回该类型已初始化实例的函数(通常是指向实例的指针)。

func NewURLStore() *URLStore {
	return &URLStore{ urls: make(map[string]string) }
}

在 return 语句中,创建了 URLStore 字面量实例,其中包含初始化了的 map 映射。锁无需特别指明初始化,这是 Go 创建结构体实例的惯例。& 是取址运算符,它将我们要返回的内容变成指针,因为 NewURLStore() 返回类型是 *URLStore。然后调用该函数来创建 URLStore 变量:

var store = NewURLStore()

使用 URLStore

要新增一对短/长 URL 到 map 中,我们只需调用 s 上的 Set() 方法,由于返回布尔值,可以把它包裹在 if 语句中:

if s.Set("a", "http://google.com") {
	// 成功
}

要获取给定短 URL 对应的长 URL,调用 s 上的 Get() 方法,将返回值放入变量 url:

if url := s.Get("a"); url != "" {
	// 重定向到 url
} else {
	// 键未找到
}

这里我们利用 Go 语言 if 语句的特性,可以在起始部分、条件判断前放置初始化语句。另外还需要一个 Count() 方法以获取 map 中键值对的数量,可以使用内建的 len() 函数:

func (s *URLStore) Count() int {
	s.mu.RLock()
	defer s.mu.RUnlock()
	return len(s.urls)
}

现在,我们可以创建一个 Put() 方法,接收一个长 URL,用 genKey() 生成其短 URL 键,调用 Set() 方法在此键下存储长 URL 数据,然后返回这个键:

func (s *URLStore) Put(url string) string {
	for {
		key := genKey(s.Count())
		if s.Set(key, url) {
			return key
		}
	}
	// shouldn’t get here
	return ""
}

链接

这里,变量 URLStore 是中心化的内存存储。当收到网络流量时,会有很多 Redirect 服务的请求。这些请求其实只涉及读操作:以给定的短 URL 作为键,返回对应的长 URL 的值。然而,对 Add 服务的请求则大不相同,它们会更改 URLStore,添加新的键值对。当在瞬间收到大量更新请求时,可能会产生如下问题:添加操作可能被另一个同类请求打断,写入的长 URL 值可能会丢失;另外,读取和更改同时进行,导致可能读到脏数据。代码中的 map 并不保证当开始更新数据时,会彻底阻止另一个更新操作的启动。也就是说,map 不是线程安全的,goto 会并发地为很多请求提供服务。因此必须使 URLStore 是线程安全的,以便可以从不同的线程访问它。最简单和经典的方法是为其增加一个锁,它是 Go 标准库 sync 包中的 Mutex 类型,必须导入到我们的代码中(关于锁详见 )。

现在,我们把 URLStore 类型的定义更改为一个结构体(就是字段的集合,类似 C 或 Java , 介绍了结构体),它含有两个字段:map 和 sync 包的 RWMutex:

函数按照键(短 URL)返回对应映射后的 URL。它所处理的变量是指针类型(见 ),指向 URLStore。但在读取值之前,先用 s.mu.RLock() 放置一个读锁,这样就不会有更新操作妨碍读取。数据读取后撤销锁定,以便挂起的更新操作可以开始。如果键不存在于 map 中会怎样?会返回字符串的零值(空字符串)。注意点号 (.) 类似面向对象的语言:在 s 的 mu 字段上调用方法 RLock()。

目前代码还比较简单,容易记得操作完成后调用 Unlock() 解锁。然而在代码更复杂时很容易忘记解锁,或者放置在错误的位置,往往导致问题很难追踪。对于这种情况 Go 提供了一个特殊关键字 defer(见 )。在本例中,可以在 Lock() 之后立即示意 Unlock(),不过其效果是 Unlock() 只会在函数返回之前被调用。

如何根据给定的长 URL 计算出短 URL 呢?为此我们创建一个函数 genKey(n int) string {…},将 s.Count() 的当前值作为其整型参数传入。(具体算法并不重要,示例代码可以在 找到。)

for 循环会一直尝试调用 Set() 直到成功为止(意味着生成了一个尚未存在的短网址)。现在我们定义好了数据存储,以及配套的可工作的函数(见代码 )。但这本身并不能完成任务,我们还需要开发 web 服务器以交付 Add 和 Redirect 服务。

上一节:

下一节:

goto_v1
goto_v1/store.go
19.2 节
8 章
9.3 节
10 章
4.9 节
6.4 节
key.go
store.go
目录
短网址项目简介
用户界面:web 服务端