《NO_SQL》_初探Cassandra

Cassandra 是一个来自 Apache 的分布式数据库，具有高度可扩展性，可用于管理大量的结构化数据。它提供了高可用性，没有单点故障。 是一种NoSQL类型的数据库。

mysql等关系与Cassandra，Mongo等非关系对比

image.png

Cassandra特点

它是一个面向列的数据库。
弹性可扩展
没有单点故障
灵活的数据存储： 结构化的、半结构化、非结构化的数据，动态的适应变化的数据结构。
便捷的数据分发：Cassandra通过在多个数据中心之间复制数据，可以灵活地在需要时分发数据
事务支持：支持ACID
快速写入

Cassandra概念

Cassandra安装

jdk略
py 略
下载包
wget https://mirrors.tuna.tsinghua.edu.cn/apache/cassandra/3.11.6/apache-cassandra-3.11.6-bin.tar.gz
vagrant virtualBox 参考及推荐

https://www.jianshu.com/p/77d8666e340a

解压后执行

(/export/huey/apache-cassandra-3.11.6/)

  1. 启动脚本
 ./bin/cassandra

INFO - Starting up server gossip 出现及启动成功
2.查看状态 校验

 ./bin/nodetool status
image.png

3.本地客户端校验

image.png

4.基本操作（类似于DDL）
4.1 help;
DESCRIBE CLUSTER;
ESCRIBE KEYSPACES ;
image.png

5.使用keyspace和表
Cassandra keyspace和关系型数据库的概念类似。它可以定义一个或多个（表 or column families）。
在使用命令的时候记得常用tab，会有自动补齐功能。
创建keyspace：

cqlsh> CREATE KEYSPACE my_keyspace WITH replication = {'class': 'SimpleStrategy', 'replication_factor': '1'};

cqlsh> DESCRIBE my_keyspace;
image.png

注：class代表使用什么作为replication策略，replication_factor表示这个keyspace的数据需要写到几个node上面去。在production的环境下面，一定不能只使用1个replication_factor。

切换到新建的keyspace：

use my_keyspace ;

在新建的keyspace里面创建表：


image.png

注：也可以直接使用 CREATE TABLE my_keyspace.user ( 这种语法创建表，不需要切换keyspace。

image.png

Cassandra Java API

Java与Cassandra交互常用的类


image.png

Cluster类，控制节点，操作集群，有四种重试策略和两种重连策略。


image.png
image.png

Session类，两种CQL查询模式


image.png

ResultSet和ResultSetFuture执行结果


image.png

Java操作Cassandra数据库Demo

1依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>1.5.4.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.cassandra</groupId>
    <artifactId>cassandra</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>cassandra</name>
    <description>cassandra study</description>

    <properties>
        <java.version>1.8</java.version>
        <spring-cloud.version>Dalston.SR1</spring-cloud.version>
    </properties>

    <dependencies>

        <dependency>
            <groupId>org.springframework.data</groupId>
            <artifactId>spring-data-cassandra</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <!--<dependency>-->
            <!--<groupId>org.springframework.boot</groupId>-->
            <!--<artifactId>spring-boot-starter-data-cassandra</artifactId>-->
        <!--</dependency>-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-rest</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>



        <!--需要手动补充-->
        <dependency>
            <groupId>com.datastax.cassandra</groupId>
            <artifactId>cassandra-driver-core</artifactId>
            <version>3.8.0</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
            <exclusions>
                <exclusion>
                    <groupId>org.junit.vintage</groupId>
                    <artifactId>junit-vintage-engine</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

配置

spring.data.cassandra.cluster-name=Test Cluster

spring.data.cassandra.keyspace-name=my_keyspace

spring.data.cassandra.contact-points=192.168.59.3

spring.data.cassandra.port=9042


spring.data.cassandra.jmx-enabled=false

demo

package com.cassandra.cassandra.beans;

import lombok.Data;
import org.springframework.data.cassandra.mapping.Column;
import org.springframework.data.cassandra.mapping.PrimaryKey;
import org.springframework.data.cassandra.mapping.Table;

/**
 * @author huey China.
 * @Description : ormCassandra的表注解，value指定表名
 * @Date Created in 2020/5/21 下午9:35
 */
@Data
@Table("user")
public class User {

//    @Column("first_name")
    @PrimaryKey("first_name")
    private String firstName;
    @Column("last_name")
    private String lastName;

}


package com.cassandra.cassandra.repository;

import com.cassandra.cassandra.beans.User;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.cassandra.core.CassandraTemplate;
import org.springframework.stereotype.Repository;

import java.util.List;

/**
 * @author huey China.
 * @Description : dao
 * @Date Created in 2020/5/21 下午8:45
 */
@Repository
public class UserDao {

    @Autowired
    private CassandraTemplate cassandraTemplate;

    /**
     * @author huey China.
     * @Description : get List Demo¬
     * @Date Created in 2020/5/21 下午8:46
     */
    public List getAll() {
        return cassandraTemplate.select("select * from user", User.class);
    }
}
package com.cassandra.cassandra.controller;

import com.cassandra.cassandra.beans.User;
import com.cassandra.cassandra.repository.UserDao;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.List;

/**
 * @author huey China.
 * @Description : use api test
 * @Date Created in 2020/5/21 下午8:46
 */
@RequestMapping("api")
@RestController
public class UserController {

    @Autowired
    private UserDao userDao;

    @RequestMapping("getList")
    public List<User> getList() {

        return userDao.getAll();
    }
}
package com.cassandra.cassandra.config;

import com.cassandra.cassandra.beans.User;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.cassandra.config.java.AbstractCassandraConfiguration;


@Configuration
public class CassandraConfig extends AbstractCassandraConfiguration {

    //空间名称
    @Value("${spring.data.cassandra.keyspace-name}")
    private String keyspaceName;

    //表实体类包名
// @Value("${spring.data.cassandra.entity-base-packages}")
// private String entityBasePackages;

    //节点IP（连接的集群节点IP）
    @Value("${spring.data.cassandra.contact-points}")
    private String contactPoints;

    //端口
    @Value("${spring.data.cassandra.port}")
    private int port;

    //集群名称
    @Value("${spring.data.cassandra.cluster-name}")
    private String clusterName;

    @Override
    protected String getKeyspaceName() {
        return keyspaceName;
    }

    @Override
    public String getContactPoints() {
        return contactPoints;
    }

    @Override
    public int getPort() {
        return this.port;
    }

    @Override
    public String getClusterName() {
        return clusterName;
    }

    @Override
    public String[] getEntityBasePackages() {
        return new String[]{User.class.getPackage().getName()};
    }
}

效果图


image.png

Java源码解决遇到的坑

image.png
image.png

Cassandra架构

1、Gossip 点对点通信协议，用于集群之间节点交换位置和状态信息。
2、Partitioner 决定如何在集群中的节点间分发数据，也就是哪个节点放止数据的第一个replica。
3、Replica Strategy 决定在哪些节点放置数据的其他replica。
4、Snitch 定义了复制策略用来放置replicas和路由请求所使用的拓扑信息

节点通信

Cassandra使用点对点通信协议Gossip在集群中的节点间交换位置和状态信息。Gossip进程每秒运行一次，与最多3个其他节点交换信息，这样所有的节点可很快的了解集群中其他节点信息。
1、种子节点。它的作用就是让其它节点来认识到这个集群在哪里，如何与集群连上关系。
2、Cassandra故障探测。Cassandra协议就是每个进程每秒最多会和三个其它节点做交互，判断它是否存活。
3、Cassandra故障修复。当一个节点挂了，但不代表它从这个集群中移走了，而只是暂时offline。当它再拉起来的时候，Gossip系统也能探测到它活了，并加入到集群中去。

Partitioner

Partitioner定义了数据如何在集群中的节点分布，哪个节点应该存放数据的第一份拷贝。基本上，Partitioner就是一个计算分区键token的哈希函数。Partitioner中分为三大类。Partition Key 决定数据在Cassandra哪个节点上，Clustering Key 用于在各个分区内的排序，Primary Key 主键决定数据行的唯一性。

Replica Strategy

Cassandra在多个节点中存放replicas以保证可靠性和容错性。Replica Strategy决定放置replicas的节点，replicas的数目由复制因子确定，比如通常设置3表示每行数据有三份拷贝，每份数据存储在不同的节点。当前可用的两种复制策略：1、SimpleStrategy 仅用于但数据中心CREATEKEYSPACE dw WITH replication = {'class':'SimpleStrategy', ‘replication_factor': 3}2、NetworkTopologyStrategy 用于多IDC场景，可指定每个IDC有多少replicasCREATEKEYSPACE dw WITH replication = {'class':'NetworkTopologyStrategy', 'DC-SH' : 2,'DC-BG' : 2}

Cassandra主要的数据结构

Memtable：它的本质是java里的跳表。

SSTable：最终存放的数据落地在磁盘的结构。

BloomFilter：高效地用最少的内存来判断数据是否存在

请求-写请求

image.png

写路径

image.png

请求读请求

image.png

Cassandra读路径

image.png

Cassandra一致性保障

在Cassandra中，有三重策略来保障Cassandra达到最终的一致性。HintedHandoff：如果写了三个副本，只要有两个响应就可以。但是假如有一个节点挂了，Cassandra可以把本来要写到这个节点的数据写到另一个节点上。等挂了的节点拉起来之后，再把这个数据写回去，以保证三份数据同时写成功了。ReadRepair：当一个读的请求发起之后，可以触发后台一个线程检查这三个数据的副本数据是否一致，如果不一致再进行修复。Anti-EntropyNode Repair：主动把自己节点的key和其它节点的key进行比较，不一致的进行修复。

相关优化

性能调优-集群调优化集群参数设置

1、memtable_allocation_type
heap_buffers:on heap nio buffer
offheap_buffers:off heap(direct) nio buffers
offheap_objects:native memory
2、concurrent_write和concurrent_read
3、Sstable compression
4、Concurrent compactor
5、memtable_flush_writers
6、Netty io线程数目

JVM调优化

1、堆的大小选择2、取消偏向锁

Scheme设计优化

1、Primary key设计，避免热点2、关闭读修复3、Compaction strategy策略选择4、Ttl设置5、Row cache启用

感谢以下下关参考，如有侵权请联系博主，博主看到后，立刻删除,然后我们还可以交个朋友。

参考

https://cassandra.apache.org/
https://www.w3cschool.cn/cassandra/cassandra_cqlsh.html

https://blog.csdn.net/zhengyong15984285623/article/details/53591616
https://blog.csdn.net/andybegin/article/details/78520333

https://www.cnblogs.com/liufei1983/p/9362976.html
https://spring.io/projects/spring-data-cassandra
https://blog.csdn.net/sunfragrence/article/details/87913643
https://juejin.im/post/5a6aeefb518825732821a5e6
https://zhuanlan.zhihu.com/p/20679215

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 203,362评论 5赞 477
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,330评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 150,247评论 0赞 337
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,560评论 1赞 273
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,580评论 5赞 365
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,569评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,929评论 3赞 395
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,587评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,840评论 1赞 297
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,596评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,678评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,366评论 4赞 318
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,945评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,929评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,165评论 1赞 259
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 43,271评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,403评论 2赞 342