外部排序

一外部排序的基本思路
假设有一个72KB的文件，其中存储了18K个整数，磁盘中物理块的大小为4KB，将文件分成18组，每组刚好4KB。
首先通过18次内部排序，把18组数据排好序，得到初始的18个归并段R1~R18，每个归并段有1024个整数。
然后对这18个归并段使用4路平衡归并排序：
第1次归并：产生5个归并段
R11   R12    R13    R14    R15
其中
R11是由{R1,R2,R3,R4}中的数据合并而来
R12是由{R5,R6,R7,R8}中的数据合并而来
R13是由{R9,R10,R11,R12}中的数据合并而来
R14是由{R13,R14,R15,R16}中的数据合并而来
R15是由{R17,R18}中的数据合并而来
把这5个归并段的数据写入5个文件：
foo_1.dat    foo_2.dat    foo_3.dat     foo_4.dat     foo_5.dat

第2次归并：从第1次归并产生的5个文件中读取数据，合并，产生2个归并段
R21 R22
其中R21是由{R11,R12,R13,R14}中的数据合并而来
其中R22是由{R15}中的数据合并而来
把这2个归并段写入2个文件
bar_1.dat   bar_2.dat

第3次归并：从第2次归并产生的2个文件中读取数据，合并，产生1个归并段
R31
R31是由{R21,R22}中的数据合并而来
把这个文件写入1个文件
foo_1.dat
此即为最终排序好的文件。

二使用败者树加快合并排序
外部排序最耗时间的操作时磁盘读写，对于有m个初始归并段，k路平衡的归并排序，磁盘读写次数为
|logkm|，可见增大k的值可以减少磁盘读写的次数，但增大k的值也会带来负面效应，即进行k路合并
的时候会增加算法复杂度，来看一个例子。
把n个整数分成k组，每组整数都已排序好，现在要把k组数据合并成1组排好序的整数，求算法复杂度
u1: xxxxxxxx
u2: xxxxxxxx
u3: xxxxxxxx
.......
uk: xxxxxxxx
算法的步骤是：每次从k个组中的首元素中选一个最小的数，加入到新组，这样每次都要比较k-1次，故
算法复杂度为O((n-1)*(k-1))，而如果使用败者树，可以在O(logk)的复杂度下得到最小的数，算法复杂
度将为O((n-1)*logk)，对于外部排序这种数据量超大的排序来说，这是一个不小的提高。

关于败者树的创建和调整，可以参考清华大学《数据结构-C语言版》

三产生二进制测试数据
打开Linux终端，输入命令
dd if=/dev/urandom of=random.dat bs=1M count=512
这样在当前目录下产生一个512M大的二进制文件，文件内的数据是随机的，读取文件，每4个字节
看成1个整数，相当于得到128M个随机整数。

四程序实现
[cpp]
#include <assert.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>

#include <sys/time.h>
#include <sys/types.h>
#include <sys/stat.h>

#define MAX_INT ~(1<<31)
#define MIN_INT 1<<31

//#define DEBUG

#ifdef DEBUG
#define debug(...) debug( __VA_ARGS__)
#else
#define debug(...)
#endif

#define MAX_WAYS 100

typedef struct run_t {
    int *buf;       /* 输入缓冲区 */
    int length;     /* 缓冲区当前有多少个数 */
    int offset;     /* 缓冲区读到了文件的哪个位置 */
    int idx;        /* 缓冲区的指针 */
} run_t;

static unsigned int K;              /* K路合并 */
static unsigned int BUF_PAGES;      /* 缓冲区有多少个page */
static unsigned int PAGE_SIZE;      /* page的大小 */
static unsigned int BUF_SIZE;       /* 缓冲区的大小, BUF_SIZE = BUF_PAGES*PAGE_SIZE */

static int *buffer;                 /* 输出缓冲区 */

static char input_prefix[] = "foo_";
static char output_prefix[] = "bar_";

static int ls[MAX_WAYS];            /* loser tree */

void swap(int *p, int *q);
int partition(int *a, int s, int t);
void quick_sort(int *a, int s, int t);
void adjust(run_t ** runs, int n, int s);
void create_loser_tree(run_t **runs, int n);
long get_time_usecs();
void k_merge(run_t** runs, char* input_prefix, int num_runs, int base, int n_merge);
void usage();

int main(int argc, char **argv)
{
    char                filename[100];
    unsigned int    data_size;
    unsigned int    num_runs;               /* 这轮迭代时有多少个归并段 */
    unsigned int    num_merges;             /* 这轮迭代后产生多少个归并段 num_merges = num_runs/K */
    unsigned int    run_length;             /* 归并段的长度，指数级增长 */
    unsigned int    num_runs_in_merge;      /* 一般每个merge由K个runs合并而来，但最后一个merge可能少于K个runs */
    int                 fd, rv, i, j, bytes;
    struct stat         sbuf;

    if (argc != 3) {
        usage();
        return 0;
    }
    long start_usecs = get_time_usecs();

    strcpy(filename, argv[1]);
    fd = open(filename, O_RDONLY);
    if (fd < 0) {
        printf("can't open file %s\n", filename);
        exit(0);
    }
    rv = fstat(fd, &sbuf);
    data_size = sbuf.st_size;

    K = atoi(argv[2]);
    PAGE_SIZE = 4096;                           /* page = 4KB */
    BUF_PAGES = 32;
    BUF_SIZE = PAGE_SIZE*BUF_PAGES;
    num_runs = data_size / PAGE_SIZE;           /* 初始时的归并段数量，每个归并段有4096 byte, 即1024个整数 */
    buffer = (int *)malloc(BUF_SIZE);

    run_length = 1;
    run_t **runs = (run_t **)malloc(sizeof(run_t *)*(K+1));
    for (i = 0; i < K; i++) {
        runs[i] = (run_t *)malloc(sizeof(run_t));
        runs[i]->buf =

补充：软件开发 , C语言 ,