SpringCloud(2) 负载均衡
2023-08-09 14:53:19 # Backend # SpringCloud

负载均衡

1 Ribbon

  • 在2020年前的SpringCloud版本是采用Ribbon作为负载均衡实现,但是2020年的版本之后SpringCloud把Ribbon移除了,进而用自己编写的LoadBalancer替代。

1.1 Ribbon入门介绍

  • 入门介绍

    • Spring Cloud Ribbon是基于Netflix Ribbon实现的一套客户端负载均衡的工具。

    • 简单的说,Ribbon是Netflix发布的开源项目,主要功能是提供客户端的软件负载均衡算法和服务调用。Ribbon客户端组件提供一系列完善的配置项如连接超时,重试等。

    • 简单的说,就是在配置文件中列出Load Balancer(简称LB)后面所有的机器,Ribbon会自动的帮助你基于某种规则(如简单轮询,随机连接等)去连接这些机器。我们很容易使用Ribbon实现自定义的负载均衡算法。

    • Ribbon目前也进入维护模式。未来可能被Spring Cloud LoadBalacer替代。

  • LB负载均衡(Load Balance)是什么

    • 简单的说就是将用户的请求平摊的分配到多个服务上,从而达到系统的HA (高可用)。

    • 常见的负载均衡有软件Nginx,LVS,硬件F5等。

  • Ribbon本地负载均衡客户端VS Nginx服务端负载均衡区别

    • Nginx是服务器负载均衡,客户端所有请求都会交给nginx,然后由nginx实现转发请求。即负载均衡是由服务端实现的。
    • Ribbon本地负载均衡,在调用微服务接口时候,会在注册中心上获取注册信息服务列表之后缓存到JVM本地,从而在本地实现RPC远程服务调用技术。
  • 集中式LB

    • 即在服务的消费方和提供方之间使用独立的LB设施(可以是硬件,如F5, 也可以是软件,如nginx),由该设施负责把访问请求通过某种策略转发至服务的提供方
  • 进程内LB

    • 将LB逻辑集成到消费方,消费方从服务注册中心获知有哪些地址可用,然后自己再从这些地址中选择出一个合适的服务器。

    • Ribbon就属于进程内LB,它只是一个类库,集成于消费方进程,消费方通过它来获取到服务提供方的地址。

  • 一句话

    • 负载均衡 + RestTemplate调用

1.2 Ribbon的负载均衡和Rest调用

  • 架构说明
    • Ribbon其实就是一个软负载均衡的客户端组件,它可以和其他所需请求的客户端结合使用,和Eureka结合只是其中的一个实例。

image-20220727210326832

  • Ribbon在工作时分成两步:

    • 第一步先选择EurekaServer ,它优先选择在同一个区域内负载较少的server。
    • 第二步再根据用户指定的策略,在从server取到的服务注册列表中选择一个地址。

    其中Ribbon提供了多种策略: 比如轮询、随机和根据响应时间加权。

  • POM

    • 先前工程项目没有引入spring-cloud-starter-ribbon也可以使用ribbon。

      <dependency>
      <groupId>org.springframework.cloud</groupId>
      <artifactId>spring-cloud-starter-netflix-ribbon</artifactId>
      </dependency>
    • 这是因为spring-cloud-starter-netflix-eureka-client自带了spring-cloud-starter-ribbon引用。

  • RestTemplate的调用

1.3 Ribbon负载规则替换

  • Ribbon默认自带的负载规则

    • IRule: 根据特定算法中从服务列表中选取一个要访问的服务

      image-20220728111338080

    • RoundRobinRule: 轮询

    • RandomRule: 随机
    • RetryRule: 先按照RoundRobinRule的策略获取服务,如果获取服务失败则在指定时间内会进行重试,获取可用的服务
    • WeightedResponseTimeRule: 对RoundRobinRule的扩展,响应速度越快的实例选择权重越大,越容易被选择
    • BestAvailableRule: 会先过滤掉由于多次访问故障而处于断路器跳闸状态的服务,然后选择一个并发量最小的服务
    • AvailabilityFilteringRule: 先过滤掉故障实例,再选择并发较小的实例
    • ZoneAvoidanceRule: 默认规则,复合判断server所在区域的性能和server的可用性选择服务器
  • Ribbon负载规则替换

    • 修改cloud-consumer-order80
    • 注意配置细节

      • 官方文档明确给出了警告:
      • 这个自定义配置类不能放在@ComponentScan所扫描的当前包下以及子包下,否则我们自定义的这个配置类就会被所有的Ribbon客户端所共享,达不到特殊化定制的目的了。
      • (也就是说不要将Ribbon配置类与主启动类同包)
    • 新建package - com.whale.myrule

    • 在com.whale.myrule下新建MySelfRule规则类

      @Configuration
      public class MySelfRule {

      @Bean
      public IRule myRule() {
      return new RandomRule();
      }
      }
    • 主启动类添加@RibbonClient

      @SpringBootApplication
      @EnableEurekaClient
      @RibbonClient(name = "CLOUD-PAYMENT-SERVICE", configuration = MySelfRule.class)
      public class CustomerOrder80 {
      public static void main(String[] args) {
      SpringApplication.run(CustomerOrder80.class, args);
      }
      }
    • 测试

1.4 Ribbon默认负载轮询算法原理

默认负载轮询算法: rest接口第几次请求数 % 服务器集群总数量 = 实际调用服务器位置下标,每次服务重启动后rest接口计数从1开始

1.5 Ribbon之手写轮询算法

  • 7001/7002集群启动

  • 8001/8002微服务改造- controller

    @GetMapping(value = "/lb")
    public String getPaymentLB() {
    return serverPort;//返回服务接口
    }
  • 80订单微服务改造

    • ApplicationContextConfig去掉注解@LoadBalanced,OrderMain80去掉注解@RibbonClient

    • 创建LoadBalancer接口

      public interface LoadBalancer{
      ServiceInstance instances(List<ServiceInstance> serviceInstances);
      }
    • MyLB实现LoadBalancer接口

      @Component//需要跟主启动类同包,或者在其子孙包下。
      public class MyLB implements LoadBalancer
      {

      private AtomicInteger atomicInteger = new AtomicInteger(0);

      public final int getAndIncrement()
      {
      int current;
      int next;

      do {
      current = this.atomicInteger.get();
      next = current >= 2147483647 ? 0 : current + 1;
      }while(!this.atomicInteger.compareAndSet(current,next));
      System.out.println("*****第几次访问,次数next: "+next);
      return next;
      }

      //负载均衡算法: rest接口第几次请求数 % 服务器集群总数量 = 实际调用服务器位置下标 ,每次服务重启动后rest接口计数从1开始。
      @Override
      public ServiceInstance instances(List<ServiceInstance> serviceInstances)
      {
      int index = getAndIncrement() % serviceInstances.size();

      return serviceInstances.get(index);
      }
      }
    • OrderController

      @Slf4j
      @RestController
      public class OrderController {

      //public static final String PAYMENT_URL = "http://localhost:8001";
      public static final String PAYMENT_URL = "http://CLOUD-PAYMENT-SERVICE";

      ...

      @Resource
      private LoadBalancer loadBalancer;

      @Resource
      private DiscoveryClient discoveryClient;

      ...

      @GetMapping(value = "/consumer/payment/lb")
      public String getPaymentLB()
      {
      List<ServiceInstance> instances = discoveryClient.getInstances("CLOUD-PAYMENT-SERVICE");

      if(instances == null || instances.size() <= 0){
      return null;
      }

      ServiceInstance serviceInstance = loadBalancer.instances(instances);
      URI uri = serviceInstance.getUri();

      return restTemplate.getForObject(uri+"/payment/lb",String.class);

      }
      }
    • 测试 不停地刷新http://localhost/consumer/payment/lb,可以看到8001/8002交替出现。

2 LoadBalancer

2.1 负载均衡

实际上,在添加@LoadBalanced注解之后,会启用拦截器对我们发起的服务调用请求进行拦截(注意这里是针对我们发起的请求进行拦截),叫做LoadBalancerInterceptor,它实现ClientHttpRequestInterceptor接口:

@FunctionalInterface
public interface ClientHttpRequestInterceptor {
ClientHttpResponse intercept(HttpRequest request, byte[] body, ClientHttpRequestExecution execution) throws IOException;
}

主要是对intercept方法的实现:

public ClientHttpResponse intercept(final HttpRequest request, final byte[] body, final ClientHttpRequestExecution execution) throws IOException {
URI originalUri = request.getURI();
String serviceName = originalUri.getHost();
Assert.state(serviceName != null, "Request URI does not contain a valid hostname: " + originalUri);
return (ClientHttpResponse)this.loadBalancer.execute(serviceName, this.requestFactory.createRequest(request, body, execution));
}

我们可以打个断点看看实际是怎么在执行的,可以看到服务端会在发起请求时执行这些拦截器。

那么这个拦截器做了什么事情呢,首先我们要明确,我们给过来的请求地址,并不是一个有效的主机名称,而是服务名称,那么怎么才能得到真正需要访问的主机名称呢,肯定是得找Eureka获取的。

我们来看看loadBalancer.execute()做了什么,它的具体实现为BlockingLoadBalancerClient:

//从上面给进来了服务的名称和具体的请求实体
public <T> T execute(String serviceId, LoadBalancerRequest<T> request) throws IOException {
String hint = this.getHint(serviceId);
LoadBalancerRequestAdapter<T, DefaultRequestContext> lbRequest = new LoadBalancerRequestAdapter(request, new DefaultRequestContext(request, hint));
Set<LoadBalancerLifecycle> supportedLifecycleProcessors = this.getSupportedLifecycleProcessors(serviceId);
supportedLifecycleProcessors.forEach((lifecycle) -> {
lifecycle.onStart(lbRequest);
});
//可以看到在这里会调用choose方法自动获取对应的服务实例信息
ServiceInstance serviceInstance = this.choose(serviceId, lbRequest);
if (serviceInstance == null) {
supportedLifecycleProcessors.forEach((lifecycle) -> {
lifecycle.onComplete(new CompletionContext(Status.DISCARD, lbRequest, new EmptyResponse()));
});
//没有发现任何此服务的实例就抛异常(之前的测试中可能已经遇到了)
throw new IllegalStateException("No instances available for " + serviceId);
} else {
//成功获取到对应服务的实例,这时就可以发起HTTP请求获取信息了
return this.execute(serviceId, serviceInstance, lbRequest);
}
}

所以,实际上在进行负载均衡的时候,会向Eureka发起请求,选择一个可用的对应服务,然后会返回此服务的主机地址等信息

2.2 自定义负载均衡策略

LoadBalancer默认提供了两种负载均衡策略:

  • RandomLoadBalancer - 随机分配策略
  • (默认) RoundRobinLoadBalancer - 轮询分配策略

现在我们希望修改默认的负载均衡策略,可以进行指定,比如我们现在希望用户服务采用随机分配策略,我们需要先创建随机分配策略的配置类(不用加@Configuration):

public class LoadBalancerConfig {
//将官方提供的 RandomLoadBalancer 注册为Bean
@Bean
public ReactorLoadBalancer<ServiceInstance> randomLoadBalancer(Environment environment, LoadBalancerClientFactory loadBalancerClientFactory){
String name = environment.getProperty(LoadBalancerClientFactory.PROPERTY_NAME);
return new RandomLoadBalancer(loadBalancerClientFactory.getLazyProvider(name, ServiceInstanceListSupplier.class), name);
}
}

接着我们需要为对应的服务指定负载均衡策略,直接使用注解即可:

@Configuration
@LoadBalancerClient(value = "userservice", //指定为 userservice 服务,只要是调用此服务都会使用我们指定的策略
configuration = LoadBalancerConfig.class) //指定我们刚刚定义好的配置类
public class BeanConfig {
@Bean
@LoadBalanced
RestTemplate template(){
return new RestTemplate();
}
}

接着我们在BlockingLoadBalancerClient中添加断点,观察是否采用我们指定的策略进行请求

发现访问userservice服务的策略已经更改为我们指定的策略了。