SpringBoot集成Mongodb
1. SpringBoot集成
pom.xml
1 | <dependency> |
application.properties
1 | =mongodb://user:pwd@ip:27017/database |
集群版mongodb
1 | =mongodb://user:pwd@ip1:port1,ip2:port2/database |
SpringBoot集成Mongodb
令人惊讶的网页动画效果工作流介绍
The Ultimate Workflow of Creating Scroll-Based Animations
Why Scroll?
Scrolling is the fundamental interaction of the Internet. Having animated elements triggered on scroll is a common practice, but what if you want to take it to another level? For example, websites like r2d3 — A visual introduction to machine learning and NASA: Prospect all features full-scale animations that users can control and interact with through scrolling.
I was really drawn to this form of interaction, which has inspired me to create OKAI — An Interactive Introduction to Artificial Intelligence(AI). Every chapter (except Chapter 0) features full-scale scroll-based animations that visualize and break down complicated concepts in AI. Allowing users to control the pace of the animations give them a sense of control and security when exploring the unknown world of AI principles.
https://okai.brown.edu/chapter1.html
In this article, I am presenting the workflow of how these animations are created and controlled through scrolling.
Linux上的常用文件传输方式介绍与比较
Linux 上的常用文件传输方式介绍与比较
- ftp 作为最常用的入门式的文件传输方法，使用简单，易于理解，并且可以实现脚本自动化；
- rcp 相对于 ftp 可以保留文件属性并可递归的拷贝子目录；
- scp 利用 ssh 传输数据，并使用与 ssh 相同的认证模式，相对于 rcp 提供更强的安全保障；
- wget，实现递归下载，可跟踪 HTML 页面上的链接依次下载来创建远程服务器的本地版本，完全重建原始站点的目录结构，适合实现远程网站的镜像；
- curl 则适合用来进行自动的文件传输或操作序列，是一个很好的模拟用户在网页浏览器上的行为的工具；
- rsync 更适用于大数据量的每日同步，拷贝的速度很快，相对 wget 来说速度快且安全高效。
各项对比
Linux 挂载新硬盘
为Linux 挂载新硬盘
最近新购入一块3T硬盘，准备划给Linux 系统2T，用来玩数据分析。开始新硬盘的挂载之旅
1.fdisk -l 查找新硬盘
1 | [root@sloong sloong]# fdisk -l |
可以看到新磁盘为 /dev/sda, 3000G, 扇区 0.5k/4k ,IO大小 4k/4k
Hadoop Shell
Hadoop_Shell
1 | hdfs文件的相关操作主要使用hadoop fs、hadoop dfs、hdfs dfs 命令，以下对最常用的相关命令进行简要说明。 |
Presto 主动Kill 机制
Presto 主动Kill 机制
背景：用户界面中，为了改善用户使用体验，移除了 查询时点击按钮的操作，变更为只要检测到查询条件的修改都会自动触发计算。而实际使用过程中，用户在最终条件确定前，所有条件变更导致的查询计算均是计算资源的浪费
目的：为了避免自动触发的计算导致Presto 计算资源的浪费
如图所示，左侧指标、细分维度、公共过滤条件以及 日期范围、日期粒度、人群的变化都会导致分析查询的调用
方案:
Hbase rowKey 设计原则
Hbase RowKey 设计
一、引言
HBase由于其存储和读写的高性能，在OLAP即时分析中越来越发挥重要的作用，在易观精细化运营产品–易观方舟也有广泛的应用。作为Nosql数据库的一员，HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录)，Rowkey设计的优劣直接影响读写性能。HBase中的数据是按照Rowkey的ASCII字典顺序进行全局排序的,有伙伴可能对ASCII字典序印象不够深刻，下面举例说明：
假如有5个Rowkey：”012”, “0”, “123”, “234”, “3”，按ASCII字典排序后的结果为：”0”, “012”, “123”, “234”, “3”。（注：文末附常用ASCII码表）
Rowkey排序时会先比对两个Rowkey的第一个字节，如果相同，然后会比对第二个字节，依次类推… 对比到第X个字节时，已经超出了其中一个Rowkey的长度，短的Rowkey排在前面。
由于HBase是通过Rowkey查询的，一般Rowkey上都会存一些比较关键的检索信息，我们需要提前想好数据具体需要如何查询，根据查询方式进行数据存储格式的设计，要避免做全表扫描，因为效率特别低。
