文件读取
1.使用 ioutil.ReadFile 直接从文件读取
// ReadFileMethod1 使用ioutil.ReadFile 直接从文件读取到 []byte中
func ReadFileMethod1(fileName string) string {
f, err := ioutil.ReadFile(fileName)
if err != nil {
log.Printf("读取文件失败:%#v", err)
return ""
}
return string(f)
}
2.使用ioutil.ReadAll 将 file 直接读取
// ReadFileMethod2 读取到 file 中,再利用 ioutil 将 file直接读取到 []byte 中
func ReadFileMethod2(fileName string) string{
f, err := os.Open(fileName)
if err != nil {
log.Printf("打开文件失败:%#v", err)
return ""
}
defer f.Close()
fd, err := ioutil.ReadAll(f)
if err != nil {
log.Printf("ioutil 读取文件失败:%#v", err)
return ""
}
return string(fd)
}
3.打开文件,读取到缓冲区,从缓冲区获取信息
// ReadFileMethod3 从文件读取到file中,在从file读取到buf, buf在追加到最终的[]byte
func ReadFileMethod3(fileName string) string {
// 打开文件
f, err := os.Open(fileName)
if err != nil {
log.Printf("read fail")
return ""
}
// 把获取的file数据读取到缓冲区中
defer f.Close()
var dataBlock []byte
buf := make([]byte, 102400)
for {
// 从file读取到buf中
n, err := f.Read(buf)
if err != nil {
if err == io.EOF{
// 判断文件读取结束
break
}
log.Printf("读取缓冲数据失败:%#v", err)
return ""
}
// 读取到最终的缓冲区中
dataBlock = append(dataBlock, buf[:n]...)
}
return string(dataBlock)
}
4.文件读取到file然后到Reader中,从Reader读取到缓冲区
// ReadFileMethod4 先从文件读取到file, 在从file读取到Reader中,从Reader读取到buf, buf最终追加到[]byte,这个排第三
func ReadFileMethod4(fileName string) string {
f, err := os.Open(fileName)
if err != nil {
log.Printf("打开文件失败:%#v", err)
}
defer f.Close()
r := bufio.NewReader(f)
var dataBlocks []byte
buf := make([]byte, 102400) // 每次读取字节数
for {
n, err := r.Read(buf) // 读取字节数 n
if err != nil {
if err == io.EOF {
// 判断文件读取结束
break
}
log.Printf("打开文件失败:%#v", err)
}
dataBlocks = append(dataBlocks, buf[:n]...) // 注意有人这里[:n] 是读的字节数赋值,最后一次读取可能小于buf定义量
}
return string(dataBlocks)
}
对比读取耗时
func main() {
startTime := time.Now()
stringFile1 := ReadFileMethod1("test.dat")
endMethod1Time := time.Now()
stringFile2 := ReadFileMethod2("test.dat")
endMethod2Time := time.Now()
stringFile3 := ReadFileMethod3("test.dat")
endMethod3Time := time.Now()
stringFile4 := ReadFileMethod4("test.dat")
endMethod4Time := time.Now()
log.Printf("ReadFileMethod1 读取文件内容字节长度: %d 耗时: %s", len(stringFile1), endMethod1Time.Sub(startTime).String())
log.Printf("ReadFileMethod2 读取文件内容字节长度: %d 耗时: %s", len(stringFile2), endMethod2Time.Sub(endMethod1Time).String())
log.Printf("ReadFileMethod3 读取文件内容字节长度: %d 耗时: %s", len(stringFile3), endMethod3Time.Sub(endMethod2Time).String())
log.Printf("ReadFileMethod4 读取文件内容字节长度: %d 耗时: %s", len(stringFile4), endMethod4Time.Sub(endMethod3Time).String())
}
/* 本机对比
2020/09/30 00:38:41 ReadFileMethod1 读取文件内容字节长度: 56503278 耗时: 73.957ms
2020/09/30 00:38:41 ReadFileMethod2 读取文件内容字节长度: 56503278 耗时: 97.9476ms
2020/09/30 00:38:41 ReadFileMethod3 读取文件内容字节长度: 56503278 耗时: 95.9469ms
2020/09/30 00:38:41 ReadFileMethod4 读取文件内容字节长度: 56503278 耗时: 80.9536ms
*/
文件处理
1.判断文件是否存在
2.文件不存在就创建文件
// IsExists 判断所给路径文件/文件夹是否存在
func IsExists(path string) bool {
_, err := os.Stat(path) //os.Stat获取文件信息
if err != nil && !os.IsExist(err) {
return false
}
return true
}
// IfNoFileToCreate 文件不存在就创建文件
func IfNoFileToCreate(fileName string) (file *os.File) {
var f *os.File
var err error
if !IsExists(fileName) {
f, err = os.Create(fileName)
if err != nil {
return
}
log.Printf("IfNoFileToCreate 函数成功创建文件:%s", fileName)
defer f.Close()
}
return f
}
文件写入
1. ioutil.WriteFile 写入文件
// WriteStringToFileMethod1 通过 ioutil.WriteFile 写入文件
func WriteStringToFileMethod1(fileName string, writeInfo string) {
_ = IfNoFileToCreate(fileName)
info := []byte(writeInfo)
if err := ioutil.WriteFile(fileName, info, 0666); err != nil {
log.Printf("WriteStringToFileMethod1 写入文件失败:%+v", err)
return
}
log.Printf("WriteStringToFileMethod1 写入文件成功")
}
2. io.WriteString 写入文件
// WriteStringToFileMethod2 通过 io.WriteString 写入文件
func WriteStringToFileMethod2(fileName string, writeInfo string) {
_ = IfNoFileToCreate(fileName)
f, err := os.OpenFile(fileName, os.O_APPEND, 0666) //打开文件
defer f.Close()
if err != nil {
log.Printf("打开文件失败:%+v", err)
return
}
// 将文件写进去
if _, err = io.WriteString(f, writeInfo); err != nil {
log.Printf("WriteStringToFileMethod2 写入文件失败:%+v", err)
return
}
log.Printf("WriteStringToFileMethod2 写入文件成功")
}
3. file.Write(WriteString) 写入文件
// WriteStringToFileMethod3 通过 File(Write,WriteString) 写入文件
func WriteStringToFileMethod3(fileName string, writeInfo string) {
_ = IfNoFileToCreate(fileName)
f, err := os.OpenFile(fileName, os.O_APPEND, 0666) //打开文件
defer f.Close()
if err != nil {
log.Printf("打开文件失败:%+v", err)
return
}
info := []byte(writeInfo)
// 写入文件
if _, err = f.Write(info); err != nil {
log.Printf("WriteStringToFileMethod3 写入文件失败:%+v", err)
return
}
log.Printf("WriteStringToFileMethod3 写入文件成功")
}
4. bufio.NewWriter 写入文件
// WriteStringToFileMethod4 通过 bufio.NewWriter 写入文件
func WriteStringToFileMethod4(fileName string, writeInfo string) {
_ = IfNoFileToCreate(fileName)
f, err := os.OpenFile(fileName, os.O_APPEND, 0666) //打开文件
defer f.Close()
if err != nil {
log.Printf("打开文件失败:%+v", err)
return
}
// 创建 Writer 对象
w := bufio.NewWriter(f)
// 写入文件
if _, err = w.WriteString(writeInfo); err != nil {
log.Printf("WriteStringToFileMethod4 写入文件失败:%+v", err)
return
}
defer w.Flush()
log.Printf("WriteStringToFileMethod4 写入文件成功")
}
对比写入耗时
startWriteTime := time.Now()
WriteStringToFileMethod1("WriteStringToFileMethod1.dat", stringFile1)
endWriteMethod1Time := time.Now()
WriteStringToFileMethod2("WriteStringToFileMethod2.dat", stringFile1)
endWriteMethod2Time := time.Now()
WriteStringToFileMethod3("WriteStringToFileMethod3.dat", stringFile1)
endWriteMethod3Time := time.Now()
WriteStringToFileMethod4("WriteStringToFileMethod4.dat", stringFile1)
endWriteMethod4Time := time.Now()
log.Printf("WriteStringToFileMethod1 文件写入内容字节长度: %d 耗时: %s", len(stringFile1), endWriteMethod1Time.Sub(startWriteTime).String())
log.Printf("WriteStringToFileMethod2 文件写入内容字节长度: %d 耗时: %s", len(stringFile1), endWriteMethod2Time.Sub(endWriteMethod1Time).String())
log.Printf("WriteStringToFileMethod3 文件写入内容字节长度: %d 耗时: %s", len(stringFile1), endWriteMethod3Time.Sub(endWriteMethod2Time).String())
log.Printf("WriteStringToFileMethod4 文件写入内容字节长度: %d 耗时: %s", len(stringFile1), endWriteMethod4Time.Sub(endWriteMethod3Time).String())
/*本机性能较差,测试数据较少
2020/10/01 00:47:24 WriteStringToFileMethod1 文件写入内容字节长度: 1975492 耗时: 3.9996ms
2020/10/01 00:47:24 WriteStringToFileMethod2 文件写入内容字节长度: 1975492 耗时: 3.0011ms
2020/10/01 00:47:24 WriteStringToFileMethod3 文件写入内容字节长度: 1975492 耗时: 4.9926ms
2020/10/01 00:47:24 WriteStringToFileMethod4 文件写入内容字节长度: 1975492 耗时: 4.9975ms
*/
网友评论