[已解决]Primocache的块大小是干什么的

kxmp

也叫颗粒度.
为什么颗粒越大反而overhead越小

什么原理呢.
而且测试的时候 块越大 多线程读取小文件的时候 反而耗费更大...
跟别人相反....

我测的只有qd32的4k很费资源 但是其他测试的话 都没什么区别... 根本测不出来cpu占用...(system进程)


2018-05-06 20:37:58
我感觉这个缓存 速度到一定程度上 再高也没什么意义.
下面发一张32线程读取4k小文件的测试. 块越小反而cpu用的少.
内存额外开销跟卷大小看起来有些关系. 成正比. 同样的块大小, 卷越大 额外开销越大.



2018-05-07 14:15:39
我观察了一下 512k的时候 空闲缓存就是按照512k减少的....

ELOHIM

杀鸡焉用牛刀。
小文件可以用一个兆的单位取出来，为什么又要估作姿态用1024个Kb读呢？

不懂瞎回复，不知道我说的对不对………………

kxmp

ELOHIM 发表于 2018-5-6 20:43
杀鸡焉用牛刀。
小文件可以用一个兆的单位取出来，为什么又要估作姿态用1024个Kb读呢？

还真不对
他这个块大小 跟文件系统的簇完全不一样

文件系统是簇越大 开销越大. 但是这个是虚的. 只是占个字面空间.

这个缓存是块越大 开销反而越小.....而且他块 越大的时候 性能反而还弱.  

ELOHIM

kxmp 发表于 2018-5-6 20:45
还真不对
他这个块大小 跟文件系统的簇完全不一样

嗯。。。

可是还是需要用CPU来计算吧，

我刚才上面的例子是指你刚才说的：多线程读取小文件。。
我真的感觉一个线程就可以完成的事，为什么要用多线程呢？？？

kxmp

ELOHIM 发表于 2018-5-6 20:47
嗯。。。

可是还是需要用CPU来计算吧，

实际应用的时候 负载高 肯定不是一个程序读文件
而且如果读取100个文件 按次序读取肯定没多线程速度快.
而且你用电脑肯定不是只有一个程序在读文件.
比如你删除10万个文件 挨个删 而且速度还超慢 那这效率就低了.
win是除了名的删文件速度慢.
linux文件系统 几万个文件那都是秒删.

ELOHIM

kxmp 发表于 2018-5-6 20:50
实际应用的时候 负载高 肯定不是一个程序读文件
而且如果读取100个文件 按次序读取肯定没多线程速度快.
...

win里面的“表”多，簇多，数据库多，每个都要通知一下，抱歉啦…………

当然ntfs系统也有不足。。

linux删文件的原理是怎样的啊？

kxmp

Block Size: Cache is logically partitioned into blocks of fixed size, typically ranging from 4KB to 512KB. Cache block is the smallest unit that PrimoCache manages. A smaller block size brings more available blocks for the same amount of cache space and usually higher performance. However, it will need larger memory overhead and may cause heavy CPU overload. To reach the best performance, a value equal to or less than the cluster size of the file system is recommended.

英文网站是那样写的, 和中文还不太一样了.
意思就是说 切块越多 程序跑起来就相对废资源一些
然而这个切块越小 同样空间内就能切出来更多的块 (这到底有什么好处他没说)
只说了通常性能是会提高 也没说一定会变高.

ELOHIM

kxmp 发表于 2018-5-6 20:53
英文网站是那样写的, 和中文还不太一样了.
意思就是说 切块越多 程序跑起来就相对废资源一些
然而这 ...

我感觉，事物发展到一定地步以后，就会变的微秒起来。

男生可以变女生 。女生也能变男生。

最开始认为错的东西，多少年以后再看，却是一个秒不可言的方式。我又开始瞎扯了。
你总是说事实，我总是讲故事。

kxmp

ELOHIM 发表于 2018-5-6 20:52
win里面的“表”多，簇多，数据库多，每个都要通知一下，抱歉啦…………

当然ntfs系统也有不 ...

linux一般也用4k的.
不过他效率就是高.

ELOHIM

kxmp 发表于 2018-5-6 20:59
linux一般也用4k的.
不过他效率就是高.

en ..还是男生跟女生的区别。
一个出门用五分钟搞定刷牙洗脸穿衣服，一个要化妆一二个小时。。
其实小win就是个女生。