当前位置：首页 > news >正文

Spark SQL 与 Hive 的小文件调优

news 来源：原创 2023/2/8 5:31:14

文章目录

- 小文件危害
- 表的缓存
- shuffle 分区数调整
- Spark SQL 客户端设置合并
- Hive 客户端处理小文件合并

小文件危害

小文件会造成 nn 处理压力变大，大大降低了读取性能，整个 HDFS 文件系统访问缓慢，大量的小文件还会导致 nn 内存溢出，无法正常使用。

表的缓存

# 缓存某个表
spark.catalog.cacheTable("tableName")# 释放缓存的表
spark.catalog.uncacheTable("tableName")

shuffle 分区数调整

# 指定在进行 shuffle 操作时的分区数量，默认：200
spark.sql.shuffle.partitions

Spark SQL 客户端设置合并

我的建议是，不如直接调用方法coalesce 来得实在。

那么如何设置 coalesce 参数的个数呢？

可以先查看我们操作的数据量大小，然后用它去除以我们的集群块Block Size 即可。

Hive 客户端处理小文件合并

方法一：

-- 是否开启分区调整功能，默认：false
set spark.sql.adaptive.enabled=true;-- 开启分区调整后，在 reduce 阶段每个 task 最少处理的数据量，默认：64M，单位：B
-- 一般改成和集群块一样的大小，Hadoop2.7.2版本及之前默认64MB，Hadoop2.7.3版本及之后默认128M
set spark.sql.adaptive.shuffle.targetPostShuffleInputSize=128000000;-- 开启分区调整后，最小的 reducer 个数，默认：1
set spark.sql.adaptive.minNumPostShufflePartitions=1;-- 开启分区调整后，最大的 reducer 个数，默认：500
set spark.sql.adaptive.maxNumPostShufflePartitions=500;-- 开启分区调整后，在 reduce 阶段每个 task 最少处理的条数，默认：20000000
set spark.sql.adaptive.shuffle.targetPostShuffleRowCount=20000000;

一般情况数据量小的话，只需要设置前面两个参数就可以了。

参数调整前：

在这里插入图片描述

参数调整后：

新建了一个和其结构一样 test 表，然后导入数据，成功的合并了小文件：

在这里插入图片描述

方法二：

-- 执行 Map 前进行小文件合并，默认开启
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;-- 合并为一个 split 的最大值（单位byte），当超过该值时新建一个split，256MB
set mapreduce.input.fileinputformat.split.maxsize=268435456;-- 在第一步合并后每个节点剩余的文件，如果大于该值（单位byte），单独创建一个split,256MB
set mapreduce.input.fileinputformat.split.minsize.per.node=268435456;-- 在第二步处理完，每个机架上剩余的文件，如果大于该值（单位byte），单独创建一个split,256MB
set mapreduce.input.fileinputformat.split.minsize.per.rack=268435456;

参数调整前：

在这里插入图片描述

参数调整后：

新建了一个和其结构一样 test 表，然后导入数据，成功的合并了小文件：

在这里插入图片描述

以上参数调优都是临时调优，仅限于本次会话，如果想要永久设置的话只需要将参数配置到 hive-site.xml 文件中即可。

查看全文

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.exyb.cn/news/show-3823577.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈，一经查实，立即删除！

Web前端：什么是前端框架?

对于每一个建设网站的企业来说，用户体验是最重要的。不管底层操作和职责有多复杂，用户的感知和体验都必须完美无缺。这就需要前端框架来辅助。什么是前端框架? 前端web开发是一种通过使用CSS、HTML和JavaScript将数据转换为基于图形的界面的方法&#…...

编程日记 2023/2/8 5:31:03

梨花众创－微信支付宝收款二维码合并器

二维码在网络和生活中的应用比比皆是。可我们也能发现，在商场、超市、菜市场等形形色色的场合，为了同时支持微信、支付宝，他们必须摆出2个二维码，这给扫码者带来了极大的不便。能不能将2个二维码合二为一，大大地方便收…...

编程日记 2023/2/8 5:30:23

自学电脑考证哪些比较有含金量

一、计算机含金量高的证书有哪些之国外大公司认证的 1、微软认证：包括系统管理方向，数据库方向和开发方向的证书。分别叫做MCSE，MCDBA，MCAD/MCSD 2、Oracle认证：主要是Oracle数据库管理。Oracle认证考试需要先参加了O…...

编程日记 2023/2/8 5:30:08

问题1：Module build failed: Error: Cannot find module node-sass 分析原因：npm install node-sass 源安装不上解决问题：切换到其他源 npm install -g cnpm --registryhttps://registry.npm.taobao.org cnpm install node-sass --save …...

编程日记 2023/2/8 5:30:00

为什么用公钥加密却不能用公钥解密？

本文为掘金社区首发签约文章，14天内禁止转载，14天后未获授权禁止转载，侵权必究！ 一直以来我都在逃避写HTTPS。毕竟。 HTTPS里名词太多。概念又巨繁琐。实在是太难解释了，能不写我尽量不写。。。。但为了让图解网…...

编程日记 2023/2/8 5:29:48

Unity zip解压和压缩

c#一般用这个库 https://github.com/icsharpcode/SharpZipLib 但是他用的api太高了有没有unity能直接用的呢？ 有 https://github.com/needle-mirror/com.unity.sharp-zip-lib unity 官方界面 https://docs.unity3d.com/Packages/com.unity.sharp-zip-lib1.3/manual…...

编程日记 2023/2/8 5:29:21

音频相关的基本概念

音频相关的基本概念 1. 声音的本质声音的本质是波在介质中的传播现象，声波的本质是一种波，是一种物理量。两者不一样，声音是一种抽象的，是声波的传播现象，声波是物理量。 2. 声音的三要素响度(loudness)&#x…...

编程日记 2023/2/8 5:29:09

boss直聘一句话介绍优势_Boss直聘大学生如何快速找到工作

Boss直聘大学生如何快速找到工作首先第一步做一份你要找的工作简历传到BOSS直聘软件上（简历比较安全，企业方每次索取你的简历是需要你同意）、填写好自己在BOSS直聘上的微简历(简历很重要，一定要把自己擅长的都学出来，或…...

编程日记 2023/2/8 5:28:16

接口自动化框架

首先：新建名字叫做Api_Tools项目： 1.存在的文件夹： common interface interface_auto_lib models2.存在的文件： env.info.cfg main.spec modlue_v0.1.xlsx InterfaceTools....

编程日记 2023/2/8 5:28:13

阿里云一句话识别，Java例子

1. 编写目的介绍一下阿里云这一产品，并且在所给的例子上因为需要加一定的修改，做成自己想要的效果。注重官方文档： https://help.aliyun.com/document_detail/84459.html?spma2c4g.11186623.6.560.77385397x0OfXk 2. 效果展示到处jar…...

编程日记 2023/2/8 5:28:09

宁波方太的数据可视化选择

宁波方太厨具有限公司（以下简称"方太"）创建于1996年。如今在全国已有员工9000余人，在全国设立了63个销售机构，销售网络覆盖除港、澳、台之外的所有省市。方太建立了涵盖家电连锁、建材超市、传统百货、橱柜商、工程、专…...

编程日记 2023/2/8 5:28:08

文档模型 TMX 1.4b

文档模型 TMX 1.4b TMX 1.4b | GALA Global (gala-global.org) 26 April 2005 <?xml version"1.0"?> 根节点 <tmx>二级节点 <header> 必要属性： creationtool, creationtoolversion, segtype, o-tmf, adminlang, srclang, dataty…...

编程日记 2023/2/8 5:28:07

JS格式化字符串

格式化字符串  String.prototype.format function(args) {var result this;if (arguments.length < 1) {return result;}var data arguments; //如果模板参数是数组if (arguments.length 1 && typeof (args) "object") {//…...

编程日记 2023/2/8 5:28:07

Abp Vnext源码解析系列文章01---EventBus

一、简介 BP vNext 封装了两种事件总线结构，第一种是 ABP vNext 自己实现的本地事件总线，这种事件总线无法跨项目发布和订阅。第二种则是分布式事件总线，ABP vNext 自己封装了一个抽象层进行定义，并使用 RabbitMQ编写了一个基本实现。在使用方式上，两种事件总线的作用基本…...

编程日记 2023/2/8 5:28:04

敏捷PPT

序言弄个敏捷介绍的简单PPT,当笔记图片...

编程日记 2023/2/8 5:27:57

PHP之一句话木马免杀

目录免杀小技巧 1.字符串拼接方式，构造敏感函数。 2.通过PHP的动态函数方法执行一句话。 3.利用php异或^构造字符串免杀木马构造一句话测试异或转码数据小结免杀小技巧 1.字符串拼接方式，构造敏感函数。 <?php $a ass; $b er; $c t…...

编程日记 2023/2/8 5:27:54

敏捷实践大全

对常见的敏捷实践整理归纳如下： 序号类别敏捷实践/技术 1 1过程价值流映射 2 1过程 WIP上限 3 1过程发布火车 4 1过程频繁交付 5 1过程时间箱管理 6 1过程每周工作40小时 7 1过程改善板 8 2团队小团队 9 2团队跨职能团队 1…...

编程日记 2023/2/8 5:27:49

千锋2018年最新php基础进阶加高级实战全套视频教程

课程目录 14__RESTful API与服务器环境 13__千万级秒杀项目 12__Swoole课程 11__Laravel框架 10__微博登录_短信发送_邮件验证 09__ThinkPHP5框架 08__高性能Linux服务器构建实战 07__JS高级实战 06__PHP高级实战 05__PHP高级语法 04__PHP与MySQL基础 03__HTML与CSS实战 02__CS…...

编程日记 2023/2/8 5:27:46

JS格式化字符串（两种方法）

本文一共介绍了两种实现方式： 文章目录1. 使用反引号实现（推荐）2. 自定义方法实现1. 使用反引号实现（推荐） ES6 模板字符串(Template String)是增强版的字符串，用反引号()标识，它可以当作普通字…...

编程日记 2023/2/8 5:27:44

Linux：磁盘分区，挂载(含实例)

Linux磁盘分区： 思路图： 进入某一目录就相当于访问硬盘的分区。查看挂载情况： 解释：sda是硬盘，有sda1 sda2 sda3三个分区。分别挂载在/boot [SWAP] / 这三个分区上。 IDE硬盘解释很清楚，不再赘述。SCSI硬…...

编程日记 2023/2/8 5:27:41

敏捷实践流程学习

敏捷的目的是及时沟通，高效交流达成一致，持续集成与迭代，提高效率与资源利用率，及时保证高质量交付。敏捷宣言： 个体和互动高于流程与工具工作的软件高于详尽的文档客户合作高于合同谈判响应变化高于 …...

编程日记 2023/2/8 5:27:37

利用动态二进制加密实现新型一句话木马之Java篇(转) 冰蝎

概述本系列文章重写了java、.net、php三个版本的一句话木马，可以解析并执行客户端传递过来的加密二进制流，并实现了相应的客户端工具。从而一劳永逸的绕过WAF或者其他网络防火墙的检测。本来是想把这三个版本写在一篇文章里，过程中发现篇幅…...

编程日记 2023/2/8 5:27:35

黑马点评第一个模块---短信登录实现

黑马点评–短信登录实现实现流程图： 发送手机验证码代码实现： Overridepublic Result sendCode(String phone, HttpSession session) {//1.校验手机号if (RegexUtils.isPhoneInvalid(phone)){//2.如果不符合，返回错误信息return Result.fai…...

编程日记 2023/2/8 5:27:31

centos8 设置网络

Net模式下连接外网配置 1桥接模式改为net模式 192.168.56.1 被虚拟网卡占用小知识 2 vi /etc/sysconfig/network-scripts/ifcfg-ens33 修改配置 TYPEEthernet PROXY_METHODnone BROWSER_ONLYno BOOTPROTOdhcp DEFROUTEyes IPV4_FAILURE_FATALno IPV6INITyes IPV6_AUTOCONF…...

编程日记 2023/2/8 5:27:29

A child container failed during start之解决方法

问题原因： 小编经过查看是pom.xml里面的配置问题，存在多余的配置，删除成功解决： 遇到这种情况，我们首先查看一遍自己所写的各种配置文件（pom，web，springMVC ，application…...

编程日记 2023/2/8 5:27:28

java script 延时_javascript 延时执行函数

延时执行函数，貌似有些多此一举, 也许还是有点用记在这儿var test {delay : function(lifetime){var data;setTimeout(function(){for (name in test.methods) {eval("data test.methods." name "();");}}, lifetime);return this;},methods…...

编程日记 2023/2/8 5:27:26

什么是敏捷？

1、什么是敏捷敏捷是指能够让团队更加有效、工作更为高效，并且作出更好决策的一组方法和相关理念，即它是一种思维模式。 2、敏捷测试的方法目前主要有4种：Scrum、极限编程（XP）、精益、看板 3、敏捷软件开发的12条原则…...

编程日记 2023/2/8 5:27:22

oracle数据库核心知识

目录一、数据类型二、运算部分三、DQL四、DML五、DDL六、函数七、PLSQL八、SQL优化一、数据类型 oracle中数据类型分三类：数字型、字符型、日期型。 1 1.数字型 number 长度不限，只要是数字就性number(x) 为整数，并且长度不超过x位number(x…...

编程日记 2023/2/8 5:27:19

CvT: Introducing Convolutions to Vision Transformers

文章添加链接描述 1： 作者将卷积引入到VIT中，产生了相比于VIT更好的结果，通过一个包含卷积token编码的分层transformer，和一个使用卷积投射的transformer块。作者通过上述的操作是为了在transformer中引入卷积的一些内在特性&…...

编程日记 2023/2/8 5:27:17

项目成功经验分享：做好项目承诺管理

许多企业在没有做出项目承诺管理的情况下就开始了项目。大型企业已经发现，运行过多的项目会削弱对项目成功的承诺。通过停止除最高优先级以外的所有项目，他们能够集中精力支持真正重要的项目的成功交付，稍后再转移到其他项目，增加…...

编程日记 2023/2/8 5:27:12

【Spring boot 拦截器 HandlerInterceptor】

Spring boot 拦截器 HandlerInterceptor 上一章对过滤器的定义做了说明，也比较简单。过滤器属于 Servlet 范畴的 API，与 Spring 没什么关系。 Web 开发中，我们除了使用 Filter 来过滤请 web 求外，还可以使用 Spring 提供的 Handle…...

编程日记 2023/2/8 5:27:05

C++ 字符串格式化

使用snprintf格式化字符串使用boost::format格式化字符串使用stringstream格式化字符串具体示例使用snprintf格式化字符串 #include <stdio.h> using std::string; // 准备数据 string haha("haha"); int num 3; // 准备格式 string fmt("test stri…...

编程日记 2023/2/8 5:27:01

【python】之常用类型（包括进制）之间的转换

个人主页：天寒雨落的博客_CSDN博客-C,CSDN竞赛,python领域博主特别标注：仅为自己的学习记录笔记，方便复习和加深记忆，仅供借鉴参考！ 目录一、字符和整数之间的转换 1.整数转字符 chr(x) 2.字符转整数 ord(x) 二、…...

编程日记 2023/2/8 5:27:01

TI/德州仪器 TPS3808G30DBVT 微处理器

TPS3808系列微处理器监控电路监控系统电压从0.4 V 到5 V，当感知电压降到预设阈值以下或者当手动复位(MR)引脚降到逻辑低位时，断言开漏复位信号。在感知电压和手动复位(MR)返回高于相应阈值后，用户可调延迟时间的复位输出仍然很低。在 VIT …...

编程日记 2023/2/8 5:26:58

敏捷个人和敏捷开发

转载：https://yq.aliyun.com/articles/408737自2001初成立了敏捷联盟到现在10年的推广，敏捷开发已日渐成为当前IT行业软件开发的一种主流方法。没有银弹，任何方法都不可能解决所有问题，反而方法应用本身还会带来新的问题。我在今…...

编程日记 2023/2/8 5:26:55

深入浅出玩转php一句话（含过waf新姿势）

本帖最后由 sucppVK 于 2017-1-9 14:39 编辑一、前言本文原创作者：XXX，本文属i春秋原创奖励计划，未经许可禁止转载！各个论坛出了不少过waf的一句话可笔者见还是有不少小白没有理解一句话（只知道是拿来链接菜刀&…...

编程日记 2023/2/8 5:26:50

法语初级学习笔记-04-单词

bienvenue：欢迎une lettre de bienvenueun cadeau de bienvenuece：这thiset：和andtudiant,e：学生un tudiant en sciencesfemme：妻子，女的homme：男的nationalit：国籍voici&#xff1a…...

编程日记 2023/2/8 5:26:47

电脑使用初步指南

电脑使用初步指南这个指南面对的是刚从高考解脱的很久没碰电脑的小伙伴全文3000字,阅读大概15分钟(可能) 在这个指南中我将介绍电脑的日常使用以及如何保证电脑不会在使用中堆满奇奇怪怪的程序。系统的日常使用在win10中，基本所有日常操作都有易于理解的图形以…...

编程日记 2023/2/8 5:26:44

【测试与自动化】介绍-框架-Jest-覆盖率-异步代码-e2e-Vue测试

测试与自动化软件测试和自动化测试介绍前端自动化测试框架使用Jest编写单元测试统计测试覆盖率使用Jest测试异步代码使用Cypress进行e2e测试测试 Vue 项目软件测试和自动化测试介绍了解什么是软件测试，以及自动化方式的测试什么是软件测试？ 定义&…...

编程日记 2023/2/8 5:26:42

什么是食品FDA？

天大地大吃喝最大，中国作为世界美食大国TOP1，其地位不可动摇。当然除了咱们自己吃，出口国外也是必不可少的，让外国人也来品尝一下咱们得大中国美食，接下来我给大家介绍一下出口美国要怎么做呢？ 什么是FDA&a…...

编程日记 2023/2/8 5:26:35

【博客513】iptables实现负载均衡和公平轮询的DNAT

iptables实现负载均衡和公平轮询的DNAT 使用iptables完成port DNAT 方法： iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-ports 8080参数解释： -t:指定规则表，端口转发需要在nat表中匹配。 -A:在规则链尾部添加规则…...

编程日记 2023/2/8 5:26:35

爱心html的网页

//我的资源里有源文件,想要的可以点我头像,资源哪里 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN"> <HTML> <HEAD> <TITLE>爱心</TITLE> <META NAME"Generator" CONTENT"EditPlus">…...

编程日记 2023/2/8 5:26:32

php 随机数设置

$addnumrand("1","30"); 范围：1 到 30...

编程日记 2023/2/8 5:26:30

tomcat中的 servletContext

1.这是web的上下文组件，web启动被创建，web停止被销毁 2.与它同时存在的有，它的对应的监听器接口servletContextListener 3.他最主要的就是，可以保存你想要的context-param 4.这样我们可以通过注册它的实现类 listener,去获得 serv…...

编程日记 2023/2/8 5:26:29

字符串的三种格式化方法

1.%格式化法 %s : 字符串 %d : 整型的也就是整数类型的数字 %f : 浮点型的也就是小数类型的若想保留指定的小数个数比如保留两位小数 : %.2f name 佳秋 age 20 tall 1.78 print(我的名字是%s, 我今年%d岁, 我的身高是%f米 % (name, age, tall))"&qu…...

编程日记 2023/2/8 5:26:23

C++图的建立---邻接矩阵-----邻接表

目录图的表示方式邻接矩阵邻接表图的遍历深度优先遍历深度优先遍历算法步骤： 图的广度优先遍历广度优先遍历算法步骤: 图的邻接矩阵存储来创建图代码运行结果： 图的邻接表存储来创建图如下图： 运行结果&#xff1…...

编程日记 2023/2/8 5:26:20

搜索引擎研究-如何分词-高级分词-基础分词后组合复合词汇

最近测试搜索引擎，发现用基本词汇分词出来在索引检索会有检索词汇被细分，造成检索到的文章是七零八落的字组成的，经过几天分析，发现通过在基础词汇分词的基础上，再组合分词会巨大的提高新词发现率，词语发现…...

编程日记 2023/2/8 5:26:17

大规模敏捷框架SAFe模型简介

一、SAFe简介 SAFe是ScaledAgile Framework的简称，由DeanLeffingwell创建，是用于在企业范围内定义和实施敏捷软件开发过程的最佳实践和经过验证的成功模式的集合，被誉为在组织层面可以和Scrum相媲美的敏捷框架,SAFe是企业层面的Scrum。 SAFe是…...

编程日记 2023/2/8 5:26:14

Linux与Shell学习--shell系列11--流程控制4（until循环）

until循环和while循环整体概念是一样的，只不过while循环的循环前提是满足while判断时进入子模块中，当不满足while判断条件时跳出循环，如果while判断条件一直满足就一直进行循环；until循环的循环前提是不满足until判断时进入子模块…...

编程日记 2023/2/8 5:26:11

用一句话证明你是一名程序员——烫烫烫烫汤汤汤汤汤

程序员的世界，给大家来普及下。当今最热门的职业属程序员莫属。互联网发展的迅速，市场的需求很大。薪资待遇高。尽管这样，程序员也是很招黑的，说程序员秃头闷骚修电脑的标配！黑归黑，当真你就输了&#xff0…...

编程日记 2023/2/8 5:26:09

用敏捷思维来指导我们的工作和学习 --专栏《说透敏捷》学习总结

“无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。” 敏捷开发可以说是IT领域…...

编程日记 2023/2/8 5:26:05

关于在Linux服务上安装nvm，踩坑步骤说明

1. 安装步骤详解（官网参考） 上面两条命令的操作其实就是进行nvm 脚本安装下载，但是这里需要注意，我们直接访问可能会报443的错误， 我们需要在我们的服务器修改代理文件/etc/hosts，通过vi 命令追加以下代理…...

编程日记 2023/2/8 5:26:03

手工收集的2021最新CSGO国服能取回皮肤的国内开箱网站大全

手工收集的2021最新CSGO国服能取回皮肤的国内开箱网站大全 incsgo 可直接取回最好的国内CSGO饰品皮肤开箱网站官方链接: www.incsgo.gg 注册登录自动免费获得$1.00美金取回状态: 直接取回优惠码: csgogo (充值使用 csgogo 可增加5%充值金额) skinsdog 狗网CSGO饰品皮肤开箱网…...

编程日记 2023/2/8 5:25:59

windows 脚本永久配置 openvino环境变量

openvino_2021.4.752 为什么写？ 因为 openvino的环境变量要配置很多项，又要配置好几台工控机，就想着用脚本快速配置，不用每台都一个一个复制填写基本添加命令 SETX 永久设置用户环境变量 SETX /M 永久设置系统环境变量 SE…...

编程日记 2023/2/8 5:25:59

php 过狗一句话木马的编写

我们都知道这个是php一句话 <?php assert($_POST[mima]); ?>可是服务器的安全狗会识别到，我们要经过一些处理， 让安全狗不能认出我们的代码是一句话木马。好多小白只会用一句话，但是不知道原理，我先大概说一下一句话…...

编程日记 2023/2/8 5:25:57

react基础语法01

定义 facebook meta出品的一款构建用户界面的js应用库单项数据流虚拟dom节点组件开发思维 react安装 npm i -g create-react-app //安装react框架create-react-app 项目名 //创建项目命令 cd 项目名 //切换到项目目录npm start //启动项目npm run build //打包项目 jsx语法…...

编程日记 2023/2/8 5:25:54

java 记住密码的实现_javaweb实现记住密码功能

具体思路是，如果用户勾选了记住密码那个框，那么肯定有是否勾选框的一个标志参数传递到后台根据参数，决定是否将用户名和密码存到cookie中String username "llllll";String password "2323232";Cookie username_c new …...

编程日记 2023/2/8 5:25:54

史上最全的一句话木马

史上最全一句话木马PHP普通一句话PHP系列过狗一句话PHP过狗几个变性的php--过防火墙phpv9 高版本拿shellASPasp 一句话ASP过安全狗一句话ASPX系列aspx一句话JSP过护卫神的插入一句话容易爆错一句话木马到两句话木马的转型!一句话免杀：一：变形法支持变异菜…...

编程日记 2023/2/8 5:25:52

Spring Boot 2020 官方基础68课程第24个 gateway

该项目为在SpringWebFlux之上构建API网关提供了一个库。Spring Cloud Gateway旨在提供一种简单而有效的方法来路由到API，并为它们提供交叉关注点，如：安全性、监控/度量和弹性。 Spring Cloud Gateway功能： 基于Spring Framework …...

编程日记 2023/2/8 5:25:41

Integer和String必问知识点,程序员翻身之路

一，session共享首先第一个要解决的就是sesison共享的问题，如下图。通常有两种解决方案，第1种是配置nginx的负载集群策略为ip_hash，第2种是将session存储到其它地方，一般推荐放到redis中。第1种方案适合于临时解决…...

编程日记 2023/2/8 5:25:40

java小白_java小白入门应该先怎么学？

21世纪进入信息时代，信息科技给人类的生产和生活方式带来了深刻的变革，信息产业已成为推动国家经济发展的主导产业之一，Java作为含金量极高的一门IT技术，很多人希望从事这个行业，那么想学好Java，要怎么学?…...

编程日记 2022/12/3 11:29:43

小白聊《股票》

本文地址：http://www.cnblogs.com/aiweixiao/p/7434569.html 原文地址 2017-08-14 微信号wozhuzaisi 程序员的文娱情怀迅速致富的手段除了赌博，彩票，还有就是股票了。大家都知道“股市有风险，入市需谨慎”。但是看到别人炒股一夜暴…...

编程日记 2022/12/3 11:29:42

小白猿入门Day1

入门级笔记 Java： Day 1 1、计算机（Computer）全称：电子计算机，俗称电脑。是一种能够按照程序运行，自动、高速处理数据的现代化智能电子设备。常见的形式有台式计算机、笔记本计算机。按照规模分为微型机、…...

编程日记 2022/12/3 11:29:41

《Java从小白到大牛精简版》之第1章开篇综述

《Java从小白到大牛》纸质版已经上架了！！！ Java诞生到现在已经有20多年了，但是Java仍然是非常热门的编程语言之一，很多平台中使用Java开发。表1-1所示的是TIOBE社区发布的2016年5月和2017年5月的编程语言排行榜&…...

编程日记 2022/12/3 11:29:40

小白应该怎么学java？

1、常用的编程语言 1．C语言 C语言诞生于1972年，称之为现代高级语言的鼻祖，由著名的贝尔实验室发明。C语言是人们追求结构化、模块化、高效率的“语言之花”。在底层编程方向，例如嵌入式、病毒开发等应用，可以替代汇编语言来开发系统程序；在高层应用开发方向，也可以开发…...

编程日记 2022/12/3 11:29:39

Python基础教程之小白入门篇

这篇文章是从我自己的知乎转过来的，所以图片有水印，大家将就看下了解编程语言正如人与人之间的沟通需要语言，人与计算机之间的沟通，也需要语言，连接人与计算机沟通的桥梁就是编程语言。任何编程语言只要用来开发程…...

编程日记 2022/12/3 11:29:38

小白数字货币投资指南

前言自从比特币横空出世之后，支撑比特币的底层技术，即区块链技术引起了巨大的关注。人们开始琢磨：“这个区块链技术还可以用在什么地方呢？” —— 当然，人们琢磨得最多的还有另外一个问题：“我应该如何获…...

编程日记 2022/12/3 11:29:38

github教程小白版（转）

首先声明，这是适合小白/外行/初学者/学生看的最基础最简单的git与github教程，已经能使用svn，git等工具的朋友请不要看这篇文章来浪费时间了。想进一步学习git的，推荐去廖雪峰博客学习。这是之前帮助几个外行的朋友写的最基础gi…...

编程日记 2022/12/3 11:29:35

小白python数据分析_小白学 Python 数据分析（15）：数据可视化概述

人生苦短，我用 Python前文传送门：引言从本篇开始，整个系列进入到第二部分，数据可视化。那么，什么是数据可视化？可以看到，这个动图非常的炫，那我们是不是学了数据可视化以后就能做出来…...

编程日记 2022/12/3 11:29:34

Git小白学习笔记

一、安装Git 1.在Windows上安装Git 从Git官网直接下载安装程序，然后按默认选项安装即可,安装完成后鼠标右键发现有一个Git Bash Here点击之后，蹦出一个类似命令行窗口的东西，就说明Git安装成功！ 安装完成后，还需要最…...

编程日记 2022/12/3 11:29:33

C语言纯小白教学

大家好，很高兴来跟大家讲解C语言相关的知识，今天是大家一起学习C 语言的第一天，在接下来的几天我将向大家讲解完C语言的知识，坚持一下很快就能迅速掌握C语言这一语言，废话不多说，开干。既然是第一天先给大…...

编程日记 2022/12/3 11:29:32

【十二十二十二】一个小白的Pyhton之路

Python的基础语法编程基础程序程序也被称为计算机程序（Computer Program），计算机程序是一组计算机能够识别和执行的指令，运行于计算机上，满足人们某种需求的信息化工具。程序是一个指令序列。程序的运行需要加…...

编程日记 2022/12/3 11:29:32

深度学习小白思考

深度学习入门半年小白思考第一篇一、概论二、感知器————————————go to cellNO.1认识感知器 -> cell中的分子机制NO.2 常见的激活函数1.sigmod函数2.tanh函数3.ReLU(Rectified Linear Unit)函数4.ELU函数5.PReLU函数NO.3 感知器 -> cell中的一个激活函数 ->…...

编程日记 2022/12/3 11:29:30

MySQL数据库小白入门

文章目录一、数据库的基本概念1.1 数据（Data）1.2 表1.3 数据库1.4 数据库管理系统（DBMS）1.5 数据库系统二、数据库系统发展史2.1 第一代数据库2.2 第二代数据库2.3 第三代数据库三、当今主流数据库介绍四、关系数据库五、非关系数…...

编程日记 2022/12/3 11:29:29

花生日记 php,花生日记小白

6 部分:准备工作变量的使用使用条件语句学习循环语句使用函数不断学习诞生于上世纪70年代的C语言是一门古老的语言了,但作为一门底层语言,时至今日它仍然非常强大。学习C语言能够为学习其他更复杂的语言打下良好的基础，因为你在C语言中学习到的知识对几乎所有的…...

编程日记 2022/12/3 11:29:28

mysql小白入门书籍推荐_mysql小白入门

mysql简介1、什么是数据库 ？数据库(Database)是按照数据结构来组织、存储和管理数据的仓库，它产生于距今六十多年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据&#xff…...

编程日记 2022/12/3 11:29:27

用AI赋能医疗，小白世纪完成数千万元A轮融资

12月28日消息，基于视觉识别的AI公司“小白世纪”已经获得广东珠江投资集团数千万A轮融资。此前，小白世纪已经获得过多轮融资：2015年8月获得200万元的种子投资；2016年8月获得清华x-lab创业DNA基金和泰有投资340万元天使投资&…...

编程日记 2022/12/3 11:29:27

港科夜闻｜香港科大EMBA校友杜强企业小白世纪登上中国AI医健行业榜单

关注并星标每周阅读港科夜闻建立新视野开启新思维/近日要闻一览/▼1、香港科大EMBA校友杜强企业小白世纪登上中国AI医健行业榜单。中国AI医健行业权威早前发布《洞察2020医健AI：中国60家企业发展潜力评估报告》，小白世纪名列“中国医健人工智能企业未来…...

编程日记 2022/12/3 11:29:26

港科夜闻｜香港科大EMBA杜强校友企业-小白世纪荣获“AI+”创新超新星卓越项目量子星奖...

关注并星标每周阅读港科夜闻建立新视野开启新思维/近日要闻一览/▼1、香港科大EMBA杜强校友企业-小白世纪荣获“AI”创新超新星卓越项目量子星奖。香港科大EMBA校友企业北京小白世纪网络科技有限公司（简称“小白世纪”）在“AI”创新超新星卓越项目选拔中…...

编程日记 2022/12/3 11:29:25

Restful API接口

REST（Representational State Transfer）。RESTful架构，就是目前最流行的一种互联网软件架构。它结构清晰、符合标准、易于理解、扩展方便。访问一个网站，就代表了客户端和服务器的一个互动过程。在这个过程中，势必涉…...

编程日记 2022/12/3 11:29:21

C#上位机系列（5）—示波器二基础代码+线条绘制

本文是讲解C#.net平台的Winform框架下的第四个内容，手把手介绍上位机项目的创建方式以及一些写软件时常用的功能，讲解从零开始的每一个步骤。接上一节的介绍，本次内容为上位机项目中示波功能代码的基本函数和画图功能。目的是通过几行代码…...

编程日记 2022/12/3 11:29:18

【性能优化】- 「延迟」API响应时间标准以及如何统计[监控] - 学习/实践

1.应用场景主要用于学习在服务开发中，API的相应时间标准，应该做到何种程度。以及弄清API与页面响应的区别， 自然标准也是不同。 2.学习/操作 1.文档阅读页面加载与API服务响应--- 性能标定与标准 - 知乎 P95、P99.9百分位数值——服务响应…...

编程日记 2022/12/3 11:29:14

resultAPI示例

什么是Restfull API Restfull API 从字面就可以知道，他是rest式的接口，所以就要先了解什么是rest rest 不是一个技术，也不是一个协议 rest 指的是一组架构约束条件和原则，提供了一个新的架构设计思路，满足这些约束条件…...

编程日记 2022/12/3 11:29:13

API标准化的重要性

随着团队试图满足不断增长的需求和质量期望，一致性是加速API开发的最关键要素之一。如果开发人员没有一致的API设计，就不能保证最终结果与预期目的相匹配，或者依赖于API的应用程序能够正常运行。在规模上，缺乏一致的设计标准会对…...

编程日记 2022/12/3 11:29:04

逢七过（c语言）

输入一个数n，从1开始报数，若遇到7的倍数或遇到个位数为7则记录一次；共记录多少次 #include <stdio.h> #include <math.h>int main() {int n,j0,i;//输入一个数n，用j来记录满足条件的次数，用i来遍历从…...

编程日记 2022/12/3 11:29:01

C语言学习感悟一

从今天（2022年6月15日）开始，对我学过的C语言课程基础知识做一个系统的总结，IT男超哥师承上官老师，也是非常有意思，大一刷抖音的时候，刷到了上官可编程老师，然后就一直在观望课程&…...

编程日记 2022/12/3 11:29:00

C语言初级编程实践：2048小游戏

大部分同学学习C语言编程以后不知道能通过什么样的项目才可以锻炼自己的思维功力，2048相信大家都应该熟悉，不管是手机上还是网页版的相信大家都玩过,这个简单的控制台版本的游戏是我曾经在伟易达上班时一个嵌入式应用游戏部门的大佬设计的，适…...

编程日记 2022/12/3 11:28:59

c语言程序课程设计摘要,C语言程序课程设计报告精编.docx

湖南涉外经济学院课程设计报告课程名称:报告题目:学生姓名:所在学院:专业班级:学生学号:指导教师:C语言课程设计**爱若烟花空＜信息科学与工程学院**** 爱若烟花******菁菁姐2013年06月21日C语言程序设计课程设计任务书报告题目游戏玩家管理系统完成时间6. 17-6.21…...

编程日记 2022/12/3 11:28:56

数七小游戏（C++）

数七小游戏【问题描述】由n人围成一个圈，编号从1～n，从第1号开始报数，报到7的倍数的人离开，一直这样循环数下去，直到最后只剩下1个人，求此人的编号。【解题】方法1：数组进行每…...

编程日记 2022/12/3 11:28:55

weigm怎么下载_彩七官网下载地址|官网

游戏介绍彩七官网下载地址|官网是一款非常火爆的盒游戏，这款游戏非常受欢迎，因为它的玩法非常的丰富，在彩七官网下载地址|官网你可以自由建造任何事物，你可以打造一个属于你自己的世界，这不仅仅是一款沙盒游戏&#x…...

编程日记 2022/12/3 11:28:54

SVPWM在S-function中用C语言实现

实现这个主要是为了回顾对SVPWM原理的理解和推导过程以及s-function c语言的操作方法 SVPWM其实已经是业界常识了，TI,ST等企业已经帮大家敲好了代码，做好了demo板，写好了技术应用文档，想学的话去官网爬一爬，认真捣鼓一…...

编程日记 2022/12/3 11:28:53

《零基础看得懂的C语言入门教程》——（七）C语言的循环分分钟上手

一、学习目标了解循环的使用方法目录 C语言真的很难吗？那是你没看这张图，化整为零轻松学习C语言。第一篇：（一）脱离学习误区第二篇：（二）C语言没那么难简单开发带你了解流程第…...

编程日记 2022/12/3 11:28:53

市文化广电旅游体育局关于开展2022年广东省工业旅游培育资源库项目申报工作的通知

区（新区、深汕合作区）工业和信息化部门、文化广电旅游体育部门： 根据《广东省工业和信息化厅广东省文化和旅游厅关于开展2022年广东省工业旅游培育资源库项目申报工作的通知》（粤工信生产合作函〔2022〕1号）要求&…...

编程日记 2022/12/3 11:28:48

Kaldi的简单介绍和基本使用说明

Kaldi的简单介绍和基本使用说明前言一、ASR简介1.语音识别系统特征提取：声学模型发音词典语言模型语音解码2. ASR项目二、Kaldi简介三、Kaldi项目的结构四、Kaldi的安装1. 安装依赖的几个系统开发库2. 安装依赖的第三方工具库3. 编译Kaldi代码配置Kaldi编译Kaldi五、…...

编程日记 2023/1/30 16:11:49

js模拟点击事件

标题 var e document.createEvent("MouseEvents");e.initEvent("click", true, true);document.getElementById("clickme").dispatchEvent(e); //只要id 就好...

编程日记 2022/12/3 11:28:34

click me? no

解题思路：看到index.php，可能是文件包含漏洞，于是我去网上找了一下文件包含漏洞构造url，查看文件内容 http://114.67.246.176:15492/index.php?filephp://filter/readconvert.base64-encode/resourceindex.php得到一串代码我用…...

编程日记 2022/12/3 11:28:33

VM3009:212 Component pages/index/index does not have a method handleClick to handle event tap.

使用taro开发小程序时，里边的事件处理。原本我这样写（阅读文档不仔细）： <Button onClick"handleClick">确定</Button> 一直报错： 于是改成这种写法： <Button onClick{() >…...

编程日记 2022/12/3 11:28:32

BugkuCTF-WEB-flag在index里

这道题打开题目链接之后，页面只显示了一个名为“click me？no”的超链接，点开它。点开之后可以发现页面变成的如图所示的样子，注意网页的url，根据url基本可以判断，这道题目属于文件包含类漏洞。现在已知是…...

编程日记 2022/12/3 11:28:31

onclick事件改变元素的背景颜色

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>onclick事件</title><script type"text/javascript" src"$function.js"></script> </head> <body>…...

编程日记 2022/12/3 11:28:30

kotterKnife+dagger2+otto+okhttp+picasso+retrofit+rxjava示例项目，使用kotlin编写。

kotterKnifedagger2ottookhttppicassoretrofitrxjava示例项目，使用kotlin编写。链接：https://github.com/zengzhihao/Tngou-kotlin 欢迎star qq交流群：185083261...

编程日记 2022/12/3 11:28:29

CocosCreater RichText的使用（点击事件处理）

RichText 使用说明详细官方文档：https://docs.cocos.com/creator/manual/zh/components/richtext.html?hrichtext RichText 组件用来显示一段带有不同样式效果的文字，你可以通过一些简单的 BBCode 标签来设置文字的样式。目前支持的样式有&#xff1…...

编程日记 2022/12/3 11:28:28

jquery 调用 click 事件的三种方式

jquery 调用 click 事件的三种方式第一种方式： $(document).ready(function(){ $("#clickme").click(function(){ alert("Hello World click"); }); 第二种方式： $(#clickmebind).bind("click", function(){ …...

编程日记 2022/12/3 11:28:28

【CTF题】使用文件包含漏洞读取网页代码

【CTF题】使用文件包含漏洞读取网页代码按照我的理解文件包含漏洞是指网页后端php（或其他）代码中使用了include等文件包含语句，而且所包含的文件由变量控制，恰恰此变量又能通过GET或POST等方式进行修改所造成的。 1.直接包含内有…...

编程日记 2022/12/3 11:28:27

简单的使用python的tk模块创建图形界面

import tkinterdef insert_point():var e.get()t.insert("insert",var) # 将var中的内容插入到光标位置def insert_end():var e.get()t.insert("end",var) # 将var中的内容插入到该文本框的末尾# 设置窗口 window tkinter.Tk() window.geometry("…...

编程日记 2022/12/3 11:28:26

【解决】document.getelementbyid(XX).click失效

var carddocument.getElementById(login-link); if(document.createEvent){ var ev document.createEvent(HTMLEvents); ev.initEvent(click, false, true); card.dispatchEvent(ev); } else card.click();...

编程日记 2022/12/3 11:28:25

JAVA实验七图形用户界面的设计与实现

一、实验目的 1．掌握图形界面设计。 2．掌握常用GUI控制组件及其事件处理。二、实验内容 1．编程包含一个标签和一个按钮，单击按钮时，标签的内容在"你好"和"再见"之间切换。 2.设计一个窗口&…...

编程日记 2022/12/3 11:28:25

click是哪个键 wheel_Click是什么意思？键盘上的Click键在哪里?

Click是什么意思?还有它的读音、??答：click在电脑中通常译为：点击. 也就是点击进入黄金屋Clickwraps?答：“点击生效”的意思范例：生效的许可协议 Clickwrap licenses开封生效的许可协议 shrinkwrap licenses点击生效的合同 Cl…...

编程日记 2022/12/3 11:28:24

knockout click点击事件及事件源解释

绑定click点击事件示例 <body>youve clicked<span data-bind"text:number"></span><button data-bind"click:count">Click Me</button> </body> <script type"text/javascript">var viewModel{numbe…...

编程日记 2022/12/3 11:28:23

【JAVA】图形用户界面练习

试设计一窗口，内含一个按钮。开始运行时，按钮显示“Click Me”字样，当按钮按下时，按钮显示为“Click Me Again”字样，再按一次，则按钮显示“Click Me”字样，依次循环。import javax.swing.*;imp…...

编程日记 2022/12/3 11:28:22

1、ipywidgets

ipywidgets ipywidgets可以用于在jupyter notebook当中进行界面设计，以及一些简单的交互式控件操作。官方文档有详细介绍，本文主要将常用的部件进行了演示，如需详细研究，请移步官方文档ipywidgets 一、安装 pip install ipyw…...

编程日记 2022/12/3 11:28:21

python创建按钮command怎么用_python图形界面tk 1.4 按钮（Button）

创建按钮和设置它们的文本属性#!/usr/bin/env python# -*- coding: utf-8 -*-import tkinter as tkfrom tkinter import ttkwin tk.Tk()win.title("Python GUI") # 添加标题aLabel ttk.Label(win, text"A Label") # 创建一个标签, text：显示标…...

编程日记 2022/12/3 11:28:21

滑动翻页效果实现和移动端click事件问题

前述本文很短~ 主要是为了总结和讲述移动端click和js事件机制导致的一个问题。 （：咳咳，其实几句话就能写完的还要水一篇文章，不愧是我… 正文最近做了一个小活动，里面要用到一个效果：滑动翻页。大概是这…...

编程日记 2022/12/3 11:28:20

Java 练习题

编写一个 Application 并定义一个异常类，要求完成如下操作。定义一个 money 类，包括： 存款余额：成员变量 yu； 存款操作：方法 putMoney(double money) 取款操作：方法 getMoney(double money) …...

编程日记 2022/12/3 11:28:19

HTML渲染问题

链接：https://www.nowcoder.com/questionTerminal/da4115e308c948169a9a73e50d09a3e7 来源：牛客网今天看到一个题目： 现有如下html结构“ <ul><li>click me</li><li>click me</li><li>click me<…...

编程日记 2022/12/3 11:28:18

axios.defaults.baseURL的三种配置方法

axios.defaults.baseURL的三种配置方法目录概述需求：设计思路实现思路分析1.少2.2.动态获取请求地址3.3.采用配置文件参考资料和推荐阅读Survive by day and develop by night. talk for import biz , show your perfect code,full busy，skip hardness,m…...

编程日记 2022/12/3 11:28:17

DARE YOU CLICK ME???(你敢点我吗？？？)

别点，你会上当的的的的， 洛谷团队...

编程日记 2022/12/3 11:28:17

试设计一个窗口，内含一个按钮。开始运行时，按钮显示“Click Me”字样，当按钮按下时，按钮显示为“Click Me Again”字样，再按一次，则按钮显示“Click Me”字样，依此循环。

试设计一个窗口，内含一个按钮。开始运行时，按钮显示“Click Me”字样，当按钮按下时，按钮显示为“Click Me Again”字样，再按一次，则按钮显示“Click Me”字样，依此循环。 package haha2; import…...

编程日记 2022/12/3 11:28:16

C#--Winform第三方控件资源汇总

最近在用C#Winform做一个关于GNSS作业仿真的软件，这次界面想做的和别人写的WPF一样炫酷些，然而自定义控件太麻烦，于是就到网络搜索轮子哥造好的轮子，随着编程世界的开源化和中国程序员的崛起，有越来越多的优秀作品被开…...

编程日记 2022/12/3 11:28:16

ClickME 隐私策略

1. 游戏“ClickME”（下称游戏）将会在您的本地文件中记录您获得的最高分数，这些分数仅用于在游戏中展示。 2. 您在游戏中获得的分数不会被收集和发布，除非您自己使用共享功能将之共享。 3. 游戏不会收集您的任何其他信息。...

编程日记 2022/12/3 11:28:15

iOS学习第一篇(ClickMe)01

2019独角兽企业重金招聘Python工程师标准>>> 入手macbook pro有一周的时间,感觉还不错.入手Mac不学习iOS开发完全是暴殄天物.Mac好用,个人用了之后,就再也不想使用linux和Windows了.好了,进入正题. 学习OBJC有四天的时间,准确的说十几个小时,对于有C/C背景的程序员,…...

编程日记 2022/12/3 11:28:15

数据结构与算法（1）稀疏数组

当一个数组中大部分元素为 0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。稀疏数组的处理方法是: ①记录数组一共有几行几列，有多少个不同的值； ②把具有不同值的元素的行列及值记录在一个小规模的数组中，…...

编程日记 2023/2/8 5:30:36

Python入门第二课——Python的变量和简单数据类型

目录前言一、变量变量的命令规则：二、简单的数据类型1.字符串2.整数3.浮点数三、注释总结前言学习任何计算机语言之前我们都需要了解该语言的变量和简单的数据类型，这部分内容往往很简单，同时也是很多人会忽略的地方，要知道&…...

编程日记 2023/2/8 5:30:10

Redis设计与实现 -- 浅谈Redis持久化

在讲解Redis持久化相关的话题之前，我们需要了解的是Redis为什么这么快？也就是Redis的IO模型 – 多路复用。我们一句话概括为什么Redis这么快： Redis是单线程的，使用多路复用的IO模型。(当然，这只是很重要的一个方面&…...

编程日记 2023/2/8 5:29:45

SP800_186_OverView

文章目录2. Overview of Elliptic Curves2.1 Non-binary Curves2.1.1 Curves in Short-Weierstrass Form2.1.2 Montgomery Curves2.1.3 Twisted Edwards Curves2.2 Binary Curves3. Recommended Curves for U.S. Federal Government Use3.1 Choice of Underlying Fields3.1.2. …...

编程日记 2023/2/8 5:29:20