vendor: Update to latest github.com/syndtr/goleveldb
This commit is contained in:
parent
e440d30028
commit
fbbd510088
|
@ -1,105 +0,0 @@
|
||||||
This is an implementation of the [LevelDB key/value database](http:code.google.com/p/leveldb) in the [Go programming language](http:golang.org).
|
|
||||||
|
|
||||||
[![Build Status](https://travis-ci.org/syndtr/goleveldb.png?branch=master)](https://travis-ci.org/syndtr/goleveldb)
|
|
||||||
|
|
||||||
Installation
|
|
||||||
-----------
|
|
||||||
|
|
||||||
go get github.com/syndtr/goleveldb/leveldb
|
|
||||||
|
|
||||||
Requirements
|
|
||||||
-----------
|
|
||||||
|
|
||||||
* Need at least `go1.4` or newer.
|
|
||||||
|
|
||||||
Usage
|
|
||||||
-----------
|
|
||||||
|
|
||||||
Create or open a database:
|
|
||||||
```go
|
|
||||||
db, err := leveldb.OpenFile("path/to/db", nil)
|
|
||||||
...
|
|
||||||
defer db.Close()
|
|
||||||
...
|
|
||||||
```
|
|
||||||
Read or modify the database content:
|
|
||||||
```go
|
|
||||||
// Remember that the contents of the returned slice should not be modified.
|
|
||||||
data, err := db.Get([]byte("key"), nil)
|
|
||||||
...
|
|
||||||
err = db.Put([]byte("key"), []byte("value"), nil)
|
|
||||||
...
|
|
||||||
err = db.Delete([]byte("key"), nil)
|
|
||||||
...
|
|
||||||
```
|
|
||||||
|
|
||||||
Iterate over database content:
|
|
||||||
```go
|
|
||||||
iter := db.NewIterator(nil, nil)
|
|
||||||
for iter.Next() {
|
|
||||||
// Remember that the contents of the returned slice should not be modified, and
|
|
||||||
// only valid until the next call to Next.
|
|
||||||
key := iter.Key()
|
|
||||||
value := iter.Value()
|
|
||||||
...
|
|
||||||
}
|
|
||||||
iter.Release()
|
|
||||||
err = iter.Error()
|
|
||||||
...
|
|
||||||
```
|
|
||||||
Seek-then-Iterate:
|
|
||||||
```go
|
|
||||||
iter := db.NewIterator(nil, nil)
|
|
||||||
for ok := iter.Seek(key); ok; ok = iter.Next() {
|
|
||||||
// Use key/value.
|
|
||||||
...
|
|
||||||
}
|
|
||||||
iter.Release()
|
|
||||||
err = iter.Error()
|
|
||||||
...
|
|
||||||
```
|
|
||||||
Iterate over subset of database content:
|
|
||||||
```go
|
|
||||||
iter := db.NewIterator(&util.Range{Start: []byte("foo"), Limit: []byte("xoo")}, nil)
|
|
||||||
for iter.Next() {
|
|
||||||
// Use key/value.
|
|
||||||
...
|
|
||||||
}
|
|
||||||
iter.Release()
|
|
||||||
err = iter.Error()
|
|
||||||
...
|
|
||||||
```
|
|
||||||
Iterate over subset of database content with a particular prefix:
|
|
||||||
```go
|
|
||||||
iter := db.NewIterator(util.BytesPrefix([]byte("foo-")), nil)
|
|
||||||
for iter.Next() {
|
|
||||||
// Use key/value.
|
|
||||||
...
|
|
||||||
}
|
|
||||||
iter.Release()
|
|
||||||
err = iter.Error()
|
|
||||||
...
|
|
||||||
```
|
|
||||||
Batch writes:
|
|
||||||
```go
|
|
||||||
batch := new(leveldb.Batch)
|
|
||||||
batch.Put([]byte("foo"), []byte("value"))
|
|
||||||
batch.Put([]byte("bar"), []byte("another value"))
|
|
||||||
batch.Delete([]byte("baz"))
|
|
||||||
err = db.Write(batch, nil)
|
|
||||||
...
|
|
||||||
```
|
|
||||||
Use bloom filter:
|
|
||||||
```go
|
|
||||||
o := &opt.Options{
|
|
||||||
Filter: filter.NewBloomFilter(10),
|
|
||||||
}
|
|
||||||
db, err := leveldb.OpenFile("path/to/db", o)
|
|
||||||
...
|
|
||||||
defer db.Close()
|
|
||||||
...
|
|
||||||
```
|
|
||||||
Documentation
|
|
||||||
-----------
|
|
||||||
|
|
||||||
You can read package documentation [here](http:godoc.org/github.com/syndtr/goleveldb).
|
|
|
@ -158,6 +158,7 @@ func (b *Batch) append(p *Batch) {
|
||||||
b.grow(len(p.data) - batchHdrLen)
|
b.grow(len(p.data) - batchHdrLen)
|
||||||
b.data = append(b.data, p.data[batchHdrLen:]...)
|
b.data = append(b.data, p.data[batchHdrLen:]...)
|
||||||
b.rLen += p.rLen
|
b.rLen += p.rLen
|
||||||
|
b.bLen += p.bLen
|
||||||
}
|
}
|
||||||
if p.sync {
|
if p.sync {
|
||||||
b.sync = true
|
b.sync = true
|
||||||
|
|
|
@ -100,6 +100,9 @@ func TestBatch_Append(t *testing.T) {
|
||||||
b2b.Put([]byte("bar"), []byte("barvalue"))
|
b2b.Put([]byte("bar"), []byte("barvalue"))
|
||||||
b2a.append(b2b)
|
b2a.append(b2b)
|
||||||
compareBatch(t, b1, b2a)
|
compareBatch(t, b1, b2a)
|
||||||
|
if b1.size() != b2a.size() {
|
||||||
|
t.Fatalf("invalid batch size want %d, got %d", b1.size(), b2a.size())
|
||||||
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
func TestBatch_Size(t *testing.T) {
|
func TestBatch_Size(t *testing.T) {
|
||||||
|
|
|
@ -1,58 +0,0 @@
|
||||||
// Copyright (c) 2012, Suryandaru Triandana <syndtr@gmail.com>
|
|
||||||
// All rights reserved.
|
|
||||||
//
|
|
||||||
// Use of this source code is governed by a BSD-style license that can be
|
|
||||||
// found in the LICENSE file.
|
|
||||||
|
|
||||||
// +build !go1.2
|
|
||||||
|
|
||||||
package leveldb
|
|
||||||
|
|
||||||
import (
|
|
||||||
"sync/atomic"
|
|
||||||
"testing"
|
|
||||||
)
|
|
||||||
|
|
||||||
func BenchmarkDBReadConcurrent(b *testing.B) {
|
|
||||||
p := openDBBench(b, false)
|
|
||||||
p.populate(b.N)
|
|
||||||
p.fill()
|
|
||||||
p.gc()
|
|
||||||
defer p.close()
|
|
||||||
|
|
||||||
b.ResetTimer()
|
|
||||||
b.SetBytes(116)
|
|
||||||
|
|
||||||
b.RunParallel(func(pb *testing.PB) {
|
|
||||||
iter := p.newIter()
|
|
||||||
defer iter.Release()
|
|
||||||
for pb.Next() && iter.Next() {
|
|
||||||
}
|
|
||||||
})
|
|
||||||
}
|
|
||||||
|
|
||||||
func BenchmarkDBReadConcurrent2(b *testing.B) {
|
|
||||||
p := openDBBench(b, false)
|
|
||||||
p.populate(b.N)
|
|
||||||
p.fill()
|
|
||||||
p.gc()
|
|
||||||
defer p.close()
|
|
||||||
|
|
||||||
b.ResetTimer()
|
|
||||||
b.SetBytes(116)
|
|
||||||
|
|
||||||
var dir uint32
|
|
||||||
b.RunParallel(func(pb *testing.PB) {
|
|
||||||
iter := p.newIter()
|
|
||||||
defer iter.Release()
|
|
||||||
if atomic.AddUint32(&dir, 1)%2 == 0 {
|
|
||||||
for pb.Next() && iter.Next() {
|
|
||||||
}
|
|
||||||
} else {
|
|
||||||
if pb.Next() && iter.Last() {
|
|
||||||
for pb.Next() && iter.Prev() {
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
})
|
|
||||||
}
|
|
|
@ -1,30 +0,0 @@
|
||||||
// Copyright (c) 2012, Suryandaru Triandana <syndtr@gmail.com>
|
|
||||||
// All rights reserved.
|
|
||||||
//
|
|
||||||
// Use of this source code is governed by a BSD-style license that can be
|
|
||||||
// found in the LICENSE file.
|
|
||||||
|
|
||||||
// +build !go1.2
|
|
||||||
|
|
||||||
package cache
|
|
||||||
|
|
||||||
import (
|
|
||||||
"math/rand"
|
|
||||||
"testing"
|
|
||||||
)
|
|
||||||
|
|
||||||
func BenchmarkLRUCache(b *testing.B) {
|
|
||||||
c := NewCache(NewLRU(10000))
|
|
||||||
|
|
||||||
b.SetParallelism(10)
|
|
||||||
b.RunParallel(func(pb *testing.PB) {
|
|
||||||
r := rand.New(rand.NewSource(time.Now().UnixNano()))
|
|
||||||
|
|
||||||
for pb.Next() {
|
|
||||||
key := uint64(r.Intn(1000000))
|
|
||||||
c.Get(0, key, func() (int, Value) {
|
|
||||||
return 1, key
|
|
||||||
}).Release()
|
|
||||||
}
|
|
||||||
})
|
|
||||||
}
|
|
|
@ -172,7 +172,7 @@ func (db *DB) compactionTransact(name string, t compactionTransactInterface) {
|
||||||
disableBackoff = db.s.o.GetDisableCompactionBackoff()
|
disableBackoff = db.s.o.GetDisableCompactionBackoff()
|
||||||
)
|
)
|
||||||
for n := 0; ; n++ {
|
for n := 0; ; n++ {
|
||||||
// Check wether the DB is closed.
|
// Check whether the DB is closed.
|
||||||
if db.isClosed() {
|
if db.isClosed() {
|
||||||
db.logf("%s exiting", name)
|
db.logf("%s exiting", name)
|
||||||
db.compactionExitTransact()
|
db.compactionExitTransact()
|
||||||
|
@ -688,7 +688,7 @@ func (db *DB) compTrigger(compC chan<- cCmd) {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// This will trigger auto compation and/or wait for all compaction to be done.
|
// This will trigger auto compaction and/or wait for all compaction to be done.
|
||||||
func (db *DB) compTriggerWait(compC chan<- cCmd) (err error) {
|
func (db *DB) compTriggerWait(compC chan<- cCmd) (err error) {
|
||||||
ch := make(chan error)
|
ch := make(chan error)
|
||||||
defer close(ch)
|
defer close(ch)
|
||||||
|
|
34
vendor/github.com/syndtr/goleveldb/leveldb/storage/file_storage_nacl.go
generated
vendored
Normal file
34
vendor/github.com/syndtr/goleveldb/leveldb/storage/file_storage_nacl.go
generated
vendored
Normal file
|
@ -0,0 +1,34 @@
|
||||||
|
// Copyright (c) 2012, Suryandaru Triandana <syndtr@gmail.com>
|
||||||
|
// All rights reserved.
|
||||||
|
//
|
||||||
|
// Use of this source code is governed by a BSD-style license that can be
|
||||||
|
// found in the LICENSE file.
|
||||||
|
|
||||||
|
// +build nacl
|
||||||
|
|
||||||
|
package storage
|
||||||
|
|
||||||
|
import (
|
||||||
|
"os"
|
||||||
|
"syscall"
|
||||||
|
)
|
||||||
|
|
||||||
|
func newFileLock(path string, readOnly bool) (fl fileLock, err error) {
|
||||||
|
return nil, syscall.ENOTSUP
|
||||||
|
}
|
||||||
|
|
||||||
|
func setFileLock(f *os.File, readOnly, lock bool) error {
|
||||||
|
return syscall.ENOTSUP
|
||||||
|
}
|
||||||
|
|
||||||
|
func rename(oldpath, newpath string) error {
|
||||||
|
return syscall.ENOTSUP
|
||||||
|
}
|
||||||
|
|
||||||
|
func isErrInvalid(err error) bool {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
|
||||||
|
func syncDir(name string) error {
|
||||||
|
return syscall.ENOTSUP
|
||||||
|
}
|
|
@ -7,38 +7,38 @@
|
||||||
package util
|
package util
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"bytes"
|
|
||||||
"encoding/binary"
|
"encoding/binary"
|
||||||
)
|
)
|
||||||
|
|
||||||
// Hash return hash of the given data.
|
// Hash return hash of the given data.
|
||||||
func Hash(data []byte, seed uint32) uint32 {
|
func Hash(data []byte, seed uint32) uint32 {
|
||||||
// Similar to murmur hash
|
// Similar to murmur hash
|
||||||
var m uint32 = 0xc6a4a793
|
const (
|
||||||
var r uint32 = 24
|
m = uint32(0xc6a4a793)
|
||||||
h := seed ^ (uint32(len(data)) * m)
|
r = uint32(24)
|
||||||
|
)
|
||||||
|
var (
|
||||||
|
h = seed ^ (uint32(len(data)) * m)
|
||||||
|
i int
|
||||||
|
)
|
||||||
|
|
||||||
buf := bytes.NewBuffer(data)
|
for n := len(data) - len(data)%4; i < n; i += 4 {
|
||||||
for buf.Len() >= 4 {
|
h += binary.LittleEndian.Uint32(data[i:])
|
||||||
var w uint32
|
|
||||||
binary.Read(buf, binary.LittleEndian, &w)
|
|
||||||
h += w
|
|
||||||
h *= m
|
h *= m
|
||||||
h ^= (h >> 16)
|
h ^= (h >> 16)
|
||||||
}
|
}
|
||||||
|
|
||||||
rest := buf.Bytes()
|
switch len(data) - i {
|
||||||
switch len(rest) {
|
|
||||||
default:
|
default:
|
||||||
panic("not reached")
|
panic("not reached")
|
||||||
case 3:
|
case 3:
|
||||||
h += uint32(rest[2]) << 16
|
h += uint32(data[i+2]) << 16
|
||||||
fallthrough
|
fallthrough
|
||||||
case 2:
|
case 2:
|
||||||
h += uint32(rest[1]) << 8
|
h += uint32(data[i+1]) << 8
|
||||||
fallthrough
|
fallthrough
|
||||||
case 1:
|
case 1:
|
||||||
h += uint32(rest[0])
|
h += uint32(data[i])
|
||||||
h *= m
|
h *= m
|
||||||
h ^= (h >> r)
|
h ^= (h >> r)
|
||||||
case 0:
|
case 0:
|
||||||
|
|
|
@ -0,0 +1,46 @@
|
||||||
|
// Copyright (c) 2012, Suryandaru Triandana <syndtr@gmail.com>
|
||||||
|
// All rights reserved.
|
||||||
|
//
|
||||||
|
// Use of this source code is governed by a BSD-style license that can be
|
||||||
|
// found in the LICENSE file.
|
||||||
|
|
||||||
|
package util
|
||||||
|
|
||||||
|
import (
|
||||||
|
"testing"
|
||||||
|
)
|
||||||
|
|
||||||
|
var hashTests = []struct {
|
||||||
|
data []byte
|
||||||
|
seed uint32
|
||||||
|
hash uint32
|
||||||
|
}{
|
||||||
|
{nil, 0xbc9f1d34, 0xbc9f1d34},
|
||||||
|
{[]byte{0x62}, 0xbc9f1d34, 0xef1345c4},
|
||||||
|
{[]byte{0xc3, 0x97}, 0xbc9f1d34, 0x5b663814},
|
||||||
|
{[]byte{0xe2, 0x99, 0xa5}, 0xbc9f1d34, 0x323c078f},
|
||||||
|
{[]byte{0xe1, 0x80, 0xb9, 0x32}, 0xbc9f1d34, 0xed21633a},
|
||||||
|
{[]byte{
|
||||||
|
0x01, 0xc0, 0x00, 0x00,
|
||||||
|
0x00, 0x00, 0x00, 0x00,
|
||||||
|
0x00, 0x00, 0x00, 0x00,
|
||||||
|
0x00, 0x00, 0x00, 0x00,
|
||||||
|
0x14, 0x00, 0x00, 0x00,
|
||||||
|
0x00, 0x00, 0x04, 0x00,
|
||||||
|
0x00, 0x00, 0x00, 0x14,
|
||||||
|
0x00, 0x00, 0x00, 0x18,
|
||||||
|
0x28, 0x00, 0x00, 0x00,
|
||||||
|
0x00, 0x00, 0x00, 0x00,
|
||||||
|
0x02, 0x00, 0x00, 0x00,
|
||||||
|
0x00, 0x00, 0x00, 0x00,
|
||||||
|
}, 0x12345678, 0xf333dabb},
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestHash(t *testing.T) {
|
||||||
|
for i, x := range hashTests {
|
||||||
|
h := Hash(x.data, x.seed)
|
||||||
|
if h != x.hash {
|
||||||
|
t.Fatalf("test-%d: invalid hash, %#x vs %#x", i, h, x.hash)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
|
@ -1,21 +0,0 @@
|
||||||
// Copyright (c) 2014, Suryandaru Triandana <syndtr@gmail.com>
|
|
||||||
// All rights reserved.
|
|
||||||
//
|
|
||||||
// Use of this source code is governed by a BSD-style license that can be
|
|
||||||
// found in the LICENSE file.
|
|
||||||
|
|
||||||
// +build go1.3
|
|
||||||
|
|
||||||
package util
|
|
||||||
|
|
||||||
import (
|
|
||||||
"sync"
|
|
||||||
)
|
|
||||||
|
|
||||||
type Pool struct {
|
|
||||||
sync.Pool
|
|
||||||
}
|
|
||||||
|
|
||||||
func NewPool(cap int) *Pool {
|
|
||||||
return &Pool{}
|
|
||||||
}
|
|
|
@ -1,33 +0,0 @@
|
||||||
// Copyright (c) 2014, Suryandaru Triandana <syndtr@gmail.com>
|
|
||||||
// All rights reserved.
|
|
||||||
//
|
|
||||||
// Use of this source code is governed by a BSD-style license that can be
|
|
||||||
// found in the LICENSE file.
|
|
||||||
|
|
||||||
// +build !go1.3
|
|
||||||
|
|
||||||
package util
|
|
||||||
|
|
||||||
type Pool struct {
|
|
||||||
pool chan interface{}
|
|
||||||
}
|
|
||||||
|
|
||||||
func (p *Pool) Get() interface{} {
|
|
||||||
select {
|
|
||||||
case x := <-p.pool:
|
|
||||||
return x
|
|
||||||
default:
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
func (p *Pool) Put(x interface{}) {
|
|
||||||
select {
|
|
||||||
case p.pool <- x:
|
|
||||||
default:
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
func NewPool(cap int) *Pool {
|
|
||||||
return &Pool{pool: make(chan interface{}, cap)}
|
|
||||||
}
|
|
|
@ -196,7 +196,7 @@
|
||||||
{
|
{
|
||||||
"importpath": "github.com/syndtr/goleveldb",
|
"importpath": "github.com/syndtr/goleveldb",
|
||||||
"repository": "https://github.com/syndtr/goleveldb",
|
"repository": "https://github.com/syndtr/goleveldb",
|
||||||
"revision": "917f41c560270110ceb73c5b38be2a9127387071",
|
"revision": "ab8b5dcf1042e818ab68e770d465112a899b668e",
|
||||||
"branch": "master"
|
"branch": "master"
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
|
|
Loading…
Reference in New Issue