たしかに全探索を行っているように見えますね。
手元のマシン(MacBook Pro, core i5 2.6GHz)で、200次元ベクトルの類似度を20万個計算して上位を求めるコードを試してみました。
$ gcc -std=c99 hoge.c && time ./a.out
real 0m0.549s
user 0m0.495s
sys 0m0.044s
……というわけで、「最近のマシンだとベタに書いても余裕」ということではないでしょうか。
ベンチマークコードは以下です。
#include <stdio.h>
#include <stdlib.h>
const long long N = 40; // number of closest words that will be shown
const long long DICT_SIZE = 200000;
const long long DIMENSION = 200;
float *gen_random_vector() {
float *vec = malloc(DIMENSION * sizeof(float));
for(int i = 0; i < DIMENSION; i++)
vec[i] = (float)rand() / RAND_MAX;
return vec;
}
float dist(float *v1, float* v2) {
float d = 0;
for(int i = 0; i < DIMENSION; i++)
d += v1[i] * v2[i];
return d;
}
int main(int argc, char **argv) {
float *query = gen_random_vector();
float **words = malloc(sizeof(float*) * DICT_SIZE);
float bestd[N];
int a = 0;
for(int i = 0; i < DICT_SIZE; i++)
words[i] = gen_random_vector();
for(int i = 0; i < N; i++)
bestd[i] = -1;
for(int i = 0; i < DICT_SIZE; i++) {
float d = dist(query, words[i]);
for(int a = 0; a < N; a++) {
if(d > bestd[a]) {
for(int b = N - 1; b > a; b--) {
bestd[b] = bestd[b - 1];
}
bestd[a] = d;
break;
}
}
}
for(int i = 0; i < N; i++)
printf("%f\n", bestd[i]);
}