Golang标准库——html

html

html包提供了用于转义和解转义HTML文本的函数。

func EscapeString

func EscapeString(s string) string

EscapeString函数将特定的一些字符转为逸码后的字符实体,如"<"变成"<"。

它只会修改五个字符:<、>、&、'、"。

UnescapeString(EscapeString(s)) == s总是成立,但是两个函数顺序反过来则不一定成立。

func UnescapeString

func UnescapeString(s string) string

UnescapeString函数将逸码的字符实体如"<"修改为原字符"<"。它会解码一个很大范围内的字符实体,远比函数EscapeString转码范围大得多。例如"á"解码为"á","á"和"&xE1;"也会解码为该字符。

  • template

template

template包(html/template)实现了数据驱动的模板,用于生成可对抗代码注入的安全HTML输出。本包提供了和text/template包相同的接口,无论何时当输出是HTML的时候都应使用本包。

此处的文档关注本包的安全特性。至于如何使用模板,请参照text/template包。

Introduction

本包是对text/template包的包装,两个包提供的模板API几无差别,可以安全的随意替换两包。

tmpl, err := template.New("name").Parse(...)
// 省略错误检测
err = tmpl.Execute(out, data)

如果成功创建了tmpl,tmpl现在是注入安全的了。否则err将返回ErrorCode里定义的某个错误。即使成功生成了模板,执行时仍可能导致ErrorCode里定义的错误。

HTML模板将数据视为明文文本,必须经过编码以便安全的嵌入HTML文档。转义操作会参考上下文,因此action可以出现在JavaScript、CSS、URI上下文环境里。

本包使用的安全模型假设模板的作者是可信任的,但用于执行的数据不可信。更多细节参见下面。

示例:

import "text/template"
...
t, err := template.New("foo").Parse(`{{define "T"}}Hello, {{.}}!{{end}}`)
err = t.ExecuteTemplate(out, "T", "<script>alert('you have been pwned')</script>")

生成:

Hello, <script>alert('you have been pwned')</script>!

但在html/template包里会根据上下文自动转义:

import "html/template"
...
t, err := template.New("foo").Parse(`{{define "T"}}Hello, {{.}}!{{end}}`)
err = t.ExecuteTemplate(out, "T", "<script>alert('you have been pwned')</script>")

生成安全的转义后HTML输出:

Hello, &lt;script&gt;alert(&#39;you have been pwned&#39;)&lt;/script&gt;!

Contexts

本包可以理解HTML、CSS、JavaScript和URI。它会给每一个简单的action pipeline都添加处理函数,如下例:

<a href="/search?q={{.}}">{{.}}</a>

在解析时每个{{.}}都会在必要时重写添加转义函数,此例中会修改为:

<a href="/search?q={{. | urlquery}}">{{. | html}}</a>

Errors

细节请参见ErrorCode类型的文档。

A fuller picture

本包剩余部分的注释第一次阅读时可以跳过;这些部分包括理解转码文本和错误信息的必要细节。多数使用者无需理解这些细节。

Contexts

假设{{.}}是O'Reilly: How are <i>you</i>?,下表展示了{{.}}用于左侧模板时的输出:

Context                          {{.}} After
{{.}}                            O'Reilly: How are &lt;i&gt;you&lt;/i&gt;?
<a title='{{.}}'>                O&#39;Reilly: How are you?
<a href="/{{.}}">                O&#39;Reilly: How are %3ci%3eyou%3c/i%3e?
<a href="?q={{.}}">              O&#39;Reilly%3a%20How%20are%3ci%3e...%3f
<a onx='f("{{.}}")'>             O\x27Reilly: How are \x3ci\x3eyou...?
<a onx='f({{.}})'>               "O\x27Reilly: How are \x3ci\x3eyou...?"
<a onx='pattern = /{{.}}/;'>     O\x27Reilly: How are \x3ci\x3eyou...\x3f

如果用在不安全的上下文里,值就可能被过滤掉:

Context                          {{.}} After
<a href="{{.}}">                 #ZgotmplZ

因为"O'Reilly:"不是一个可以接受的协议名,如"http:"。

如果{{.}}是一个无害的词汇,如left,那么它就可以出现在更多地方。

Context                              {{.}} After
{{.}}                                left
<a title='{{.}}'>                    left
<a href='{{.}}'>                     left
<a href='/{{.}}'>                    left
<a href='?dir={{.}}'>                left
<a style="border-{{.}}: 4px">        left
<a style="align: {{.}}">             left
<a style="background: '{{.}}'>       left
<a style="background: url('{{.}}')>  left
<style>p.{{.}} {color:red}</style>   left

如果{{.}}是非字符串类型的值,可以用于JavaScript上下文环境里:

struct{A,B string}{ "foo", "bar" }

将该值应用在在转义后的模板里:

<script>var pair = {{.}};</script>

模板输出为:

<script>var pair = {"A": "foo", "B": "bar"};</script>

请参见json包来理解非字符串内容是如何序列化并嵌入JavaScript里的。

Typed Strings

本包默认所有的pipeline都生成明文字符串,它会在必要时添加转义pipeline阶段以安全并正确的将明文字符串嵌入输出的文本里。

当用于执行的数据不是明文字符串时,你可以通过显式改变数据的类型以避免其被错误的转义。

类型HTML、JS、URL和其他content.go里定义的类型可以保持不被转义的安全内容。

模板:

Hello, {{.}}!

可以采用如下调用:

tmpl.Execute(out, HTML(`<b>World</b>`))

来输出:

Hello, <b>World</b>!

而不是:

Hello, &lt;b&gt;World&lt;b&gt;!

如果{{.}}是一个内建类型字符串就会产生该输出。

Security Model

本包里安全的定义参加如下网页:

http://js-quasis-libraries-and-repl.googlecode.com/svn/trunk/safetemplate.html#problem_definition

本包假设模板作者可信而执行数据不可信,目标是在保证安全性的前提下保证效率:

结构保留特性:“……当模板作者用安全的模板语言写了一个HTML标签时,不管数据的值为何浏览器都会将输出的相应部分解释为标签,该情况在其他结构里也成立,如属性边界以及JS和CSS边界。”

代码影响特性:“……只有模板作者指定的代码能作为注入模板输出到页面的结果执行,所有模板作者指定的代码都应如此。”

最少惊讶特性:“一个熟悉HTML、CSS、JS的开发者(或代码阅读者),应可以正确的推断出{{.}}会如何转义。”

type ErrorCodetErrorCode是代表错误种类的错误码。

const (
    // OK表示没有出错
    OK  ErrorCode = iota
    // 当上下文环境有歧义时导致ErrAmbigContext:
    // 举例:
    //   <a href="{{if .C}}/path/{{else}}/search?q={{end}}{{.X}}"&rt;
    // 说明:
    //   {{.X}}的URL上下文环境有歧义,因为根据{{.C}}的值,
    //   它可以是URL的后缀,或者是查询的参数。
    //   将{{.X}}移动到如下情况可以消除歧义:
    //   <a href="{{if .C}}/path/{{.X}}{{else}}/search?q={{.X}}{{end}}"&rt;
    ErrAmbigContext
    // 期望空白、属性名、标签结束标志而没有时,标签名或无引号标签值包含非法字符时,
    // 会导致ErrBadHTML;举例:
    //   <a href = /search?q=foo&rt;
    //   <href=foo&rt;
    //   <form na<e=...&rt;
    //   <option selected<
    // 讨论:
    //   一般是因为HTML元素输入了错误的标签名、属性名或者未用引号的属性值,导致解析失败
    //   将所有的属性都用引号括起来是最好的策略
    ErrBadHTML
    // {{if}}等分支不在相同上下文开始和结束时,导致ErrBranchEnd
    // 示例:
    //   {{if .C}}<a href="{{end}}{{.X}}
    // 讨论:
    //   html/template包会静态的检验{{if}}、{{range}}或{{with}}的每一个分支,
    //   以对后续的pipeline进行转义。该例出现了歧义,{{.X}}可能是HTML文本节点,
    //   或者是HTML属性值的URL的前缀,{{.X}}的上下文环境可以确定如何转义,但该
    //   上下文环境却是由运行时{{.C}}的值决定的,不能在编译期获知。
    //   这种问题一般是因为缺少引号或者角括号引起的,另一些则可以通过重构将两个上下文
    //   放进if、range、with的不同分支里来避免,如果问题出现在参数长度一定非0的
    //   {{range}}的分支里,可以通过添加无效{{else}}分支解决。
    ErrBranchEnd
    // 如果以非文本上下文结束,则导致ErrEndContext
    // 示例:
    //   <div
    //   <div title="no close quote&rt;
    //   <script>f()
    // 讨论:
    //   执行模板必须生成HTML的一个文档片段,以未闭合标签结束的模板都会引发本错误。
    //   不用在HTML上下文或者生成不完整片段的模板不应直接执行。
    //   {{define "main"}} <script&rt;{{template "helper"}}</script> {{end}}
    //   {{define "helper"}} document.write(' <div title=" ') {{end}}
    //   模板"helper"不能生成合法的文档片段,所以不直接执行,用js生成。
    ErrEndContext
    // 调用不存在的模板时导致ErrNoSuchTemplate
    // 示例:
    //   {{define "main"}}<div {{template "attrs"}}&rt;{{end}}
    //   {{define "attrs"}}href="{{.URL}}"{{end}}
    // 讨论:
    //   html/template包略过模板调用计算上下文环境。
    //   此例中,当被"main"模板调用时,"attrs"模板的{{.URL}}必须视为一个URL;
    //   但如果解析"main"时,"attrs"还未被定义,就会导致本错误
    ErrNoSuchTemplate
    // 不能计算输出位置的上下文环境时,导致ErrOutputContext
    // 示例:
    //   {{define "t"}}{{if .T}}{{template "t" .T}}{{end}}{{.H}}",{{end}}
    // 讨论:
    //   一个递归的模板,其起始和结束的上下文环境不同时;
    //   不能计算出可信的输出位置上下文环境时,就可能导致本错误。
    //   检查各个命名模板是否有错误;
    //   如果模板不应在命名的起始上下文环境调用,检查在不期望上下文环境中对该模板的调用;
    //   或者将递归模板重构为非递归模板;
    ErrOutputContext
    // 尚未支持JS正则表达式插入字符集
    // 示例:
    //     <script>var pattern = /foo[{{.Chars}}]/</script&rt;
    // 讨论:
    //   html/template不支持向JS正则表达式里插入字面值字符集
    ErrPartialCharset
    // 部分转义序列尚未支持
    // 示例:
    //   <script>alert("\{{.X}}")</script&rt;
    // 讨论:
    //   html/template包不支持紧跟在反斜杠后面的action
    //   这一般是错误的,有更好的解决方法,例如:
    //     <script>alert("{{.X}}")</script&rt;
    //   可以工作,如果{{.X}}是部分转义序列,如"xA0",
    //   可以将整个序列标记为安全文本:JSStr(`\xA0`)
    ErrPartialEscape
    // range循环的重入口出错,导致ErrRangeLoopReentry
    // 示例:
    //   <script>var x = [{{range .}}'{{.}},{{end}}]</script&rt;
    // 讨论:
    //   如果range的迭代部分导致其结束于上一次循环的另一上下文,将不会有唯一的上下文环境
    //   此例中,缺少一个引号,因此无法确定{{.}}是存在于一个JS字符串里,还是一个JS值文本里。
    //   第二次迭代生成类似下面的输出:
    //     <script>var x = ['firstValue,'secondValue]</script&rt;
    ErrRangeLoopReentry
    // 斜杠可以开始一个除法或者正则表达式
    // 示例:
    //   <script&rt;
    //     {{if .C}}var x = 1{{end}}
    //     /-{{.N}}/i.test(x) ? doThis : doThat();
    //   </script&rt;
    // 讨论:
    //   上例可以生成`var x = 1/-2/i.test(s)...`,其中第一个斜杠作为除号;
    //   或者它也可以生成`/-2/i.test(s)`,其中第一个斜杠生成一个正则表达式字面值
    //   检查分支中是否缺少分号,或者使用括号来明确你的意图
    ErrSlashAmbig
)

我们为转义模板时的所有错误都定义了错误码,但经过转义修正的模板仍可能在运行时出错:

输出"ZgotmplZ"的例子:

<img src="{{.X}}">
其中{{.X}}执行结果为`javascript:...`

讨论:

"ZgotmplZ"是一个特殊值,表示运行时在CSS或URL上下文环境生成的不安全内容。本例的输出为:
  <img src="#ZgotmplZ">
如果数据来源可信,请转换内容类型来避免被滤除:URL(`javascript:...`)

type Error

type Error struct {
    // ErrorCode描述错误的种类
    ErrorCode ErrorCode
    // Name是发生错误的模板的名字
    Name string
    // Line是错误位置在模板原文中的行号或者0
    Line int
    // Description是供调试者阅读的错误描述
    Description string
}

Error描述在模板转义时出现的错误。

func (*Error) Error

func (e *Error) Error() string

func HTMLEscape

func HTMLEscape(w io.Writer, b []byte)

函数向w中写入b的HTML转义等价表示。

func HTMLEscapeString

func HTMLEscapeString(s string) string

返回s的HTML转义等价表示字符串。

func HTMLEscaper

func HTMLEscaper(args ...interface{}) string

函数返回其所有参数文本表示的HTML转义等价表示字符串。

func JSEscape

func JSEscape(w io.Writer, b []byte)

函数向w中写入b的JavaScript转义等价表示。

func JSEscapeString

func JSEscapeString(s string) string

返回s的JavaScript转义等价表示字符串。

func JSEscaper

func JSEscaper(args ...interface{}) string

函数返回其所有参数文本表示的JavaScript转义等价表示字符串。

func URLQueryEscaper

func URLQueryEscaper(args ...interface{}) string

函数返回其所有参数文本表示的可以嵌入URL查询的转义等价表示字符串。

type FuncMap

type FuncMap map[string]interface{}

FuncMap类型定义了函数名字符串到函数的映射,每个函数都必须有1到2个返回值,如果有2个则后一个必须是error接口类型;如果有2个返回值的方法返回的error非nil,模板执行会中断并返回给调用者该错误。该类型拷贝自text/template包的同名类型,因此不需要导入该包以使用该类型。

type HTML

type HTML string

HTML用于封装一个已知安全的HTML文档片段。它不应被第三方使用,也不能用于含有未闭合的标签或注释的HTML文本。该类型适用于封装一个效果良好的HTML生成器生成的HTML文本或者本包模板的输出的文本。

type HTMLAttr

type HTMLAttr string

HTMLAttr用来封装一个来源可信的HTML属性,如dir="ltr"

type JS

type JS string

JS用于封装一个已知安全的EcmaScript5表达式,如(x + y * z())。模板作者有责任确保封装的字符串不会破坏原有的语义,也不能包含有歧义的声明或表达式,如"{ foo: bar() }\n'foo'",这一句既是合法的表达式也是语义完全不同的合法程序。

type JSStr

type JSStr string

JSStr用于封装一个打算嵌入JavaScript表达式中的字符序列,该字符串必须匹配一系列StringCharacters:

StringCharacter :: 除了`\`和行终止符的SourceCharacter | EscapeSequence

注意不允许换行,JSStr("foo\nbar")是可以的,但JSStr("foo\\nbar")不可以。

type URL

type URL string

URL用来封装一个已知安全的URL或URL子字符串(参见RFC 3986

形如javascript:checkThatFormNotEditedBeforeLeavingPage()的来源可信的URL应写进页面里,但一般动态的javascript: URL排除在外(不写进页面),因为它们是频繁使用的注入向量。

type CSS

type CSS string

CSS用于包装匹配如下任一条的已知安全的内容:

1. CSS3样式表,如`p { color: purple }`
2. CSS3规则,如`a[href=~"https:"].foo#bar`
3. CSS3声明,如`color: red; margin: 2px`
4. CSS3规则,如`rgba(0, 0, 255, 127)`

参见:http://www.w3.org/TR/css3-syntax/#parsing

以及:https://web.archive.org/web/20090211114933/http://w3.org/TR/css3-syntax#style

type Template

type Template struct {
    // 底层的模板解析树,会更新为HTML安全的
    Tree *parse.Tree
    // 内含隐藏或非导出字段
}

Template类型是text/template包的Template类型的特化版本,用于生成安全的HTML文本片段。

func Must

func Must(t *Template, err error) *Template

Must函数用于包装返回(*Template, error)的函数/方法调用,它会在err非nil时panic,一般用于变量初始化:

var t = template.Must(template.New("name").Parse("html"))

func New

func New(name string) *Template

创建一个名为name的模板。

func ParseFiles

func ParseFiles(filenames ...string) (*Template, error)

ParseFiles函数创建一个模板并解析filenames指定的文件里的模板定义。返回的模板的名字是第一个文件的文件名(不含扩展名),内容为解析后的第一个文件的内容。至少要提供一个文件。如果发生错误,会停止解析并返回nil。

func ParseGlob

func ParseGlob(pattern string) (*Template, error)

ParseGlob创建一个模板并解析匹配pattern的文件(参见glob规则)里的模板定义。返回的模板的名字是第一个匹配的文件的文件名(不含扩展名),内容为解析后的第一个文件的内容。至少要存在一个匹配的文件。如果发生错误,会停止解析并返回nil。ParseGlob等价于使用匹配pattern的文件的列表为参数调用ParseFiles。

func (*Template) Name

func (t *Template) Name() string

返回模板t的名字。

func (*Template) Delims

func (t *Template) Delims(left, right string) *Template

Delims方法用于设置action的分界字符串,应用于之后的Parse、ParseFiles、ParseGlob方法。嵌套模板定义会继承这种分界符设置。空字符串分界符表示相应的默认分界符:{{或}}。返回值就是t,以便进行链式调用。

func (*Template) Funcs

func (t *Template) Funcs(funcMap FuncMap) *Template

Funcs方法向模板t的函数字典里加入参数funcMap内的键值对。如果funcMap某个键值对的值不是函数类型或者返回值不符合要求会panic。但是,可以对t函数列表的成员进行重写。方法返回t以便进行链式调用。

func (*Template) Clone

func (t *Template) Clone() (*Template, error)

Clone方法返回模板的一个副本,包括所有相关联的模板。模板的底层表示树并未拷贝,而是拷贝了命名空间,因此拷贝调用Parse方法不会修改原模板的命名空间。Clone方法用于准备模板的公用部分,向拷贝中加入其他关联模板后再进行使用。

如果t已经执行过了,会返回错误。

func (*Template) Lookup

func (t *Template) Lookup(name string) *Template

Lookup方法返回与t关联的名为name的模板,如果没有这个模板会返回nil。

func (*Template) Templates

func (t *Template) Templates() []*Template

Templates方法返回与t相关联的模板的切片,包括t自己。

func (*Template) New

func (t *Template) New(name string) *Template

New方法创建一个和t关联的名字为name的模板并返回它。这种可以传递的关联允许一个模板使用template action调用另一个模板。

func (*Template) AddParseTree

func (t *Template) AddParseTree(name string, tree *parse.Tree) (*Template, error)

AddParseTree方法使用name和tree创建一个模板并使它和t相关联。

如果t已经执行过了,会返回错误。

func (*Template) Parse

func (t *Template) Parse(src string) (*Template, error)

Parse方法将字符串text解析为模板。嵌套定义的模板会关联到最顶层的t。Parse可以多次调用,但只有第一次调用可以包含空格、注释和模板定义之外的文本。如果后面的调用在解析后仍剩余文本会引发错误、返回nil且丢弃剩余文本;如果解析得到的模板已有相关联的同名模板,会覆盖掉原模板。

func (*Template) ParseFiles

func (t *Template) ParseFiles(filenames ...string) (*Template, error)

ParseGlob方法解析filenames指定的文件里的模板定义并将解析结果与t关联。如果发生错误,会停止解析并返回nil,否则返回(t, nil)。至少要提供一个文件。

func (*Template) ParseGlob

func (t *Template) ParseGlob(pattern string) (*Template, error)

ParseFiles方法解析匹配pattern的文件里的模板定义并将解析结果与t关联。如果发生错误,会停止解析并返回nil,否则返回(t, nil)。至少要存在一个匹配的文件。

func (*Template) Execute

func (t *Template) Execute(wr io.Writer, data interface{}) error

Execute方法将解析好的模板应用到data上,并将输出写入wr。如果执行时出现错误,会停止执行,但有可能已经写入wr部分数据。模板可以安全的并发执行。

func (*Template) ExecuteTemplate

func (t *Template) ExecuteTemplate(wr io.Writer, name string, data interface{}) error

ExecuteTemplate方法类似Execute,但是使用名为name的t关联的模板产生输出。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,189评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,577评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,857评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,703评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,705评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,620评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,995评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,656评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,898评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,639评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,720评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,395评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,982评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,953评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,195评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,907评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,472评论 2 342