Skip to content

Commit

Permalink
llama.cpp/embedfile -> embedfile
Browse files Browse the repository at this point in the history
  • Loading branch information
asg017 committed Nov 30, 2024
1 parent 542cd2e commit 6947bfa
Show file tree
Hide file tree
Showing 22 changed files with 107 additions and 51 deletions.
10 changes: 5 additions & 5 deletions TODO
Original file line number Diff line number Diff line change
@@ -1,13 +1,13 @@
```
./make -j8
./make o//llama.cpp/embedfile/embedfile
./o/llama.cpp/embedfile/embedfile --version
./o/llama.cpp/embedfile/embedfile
./make o//embedfile/embedfile
./o/embedfile/embedfile --version
./o/embedfile/embedfile
```


```
EMBEDFILE_MODEL_PATH=$PWD/models/mxbai-embed-xsmall-v1-f16.gguf ./o/llama.cpp/embedfile/embedfile backfill tmp.smol.db nyt_headlines headline
EMBEDFILE_MODEL_PATH=$PWD/models/mxbai-embed-xsmall-v1-f16.gguf ./o/embedfile/embedfile backfill tmp.smol.db nyt_headlines headline

./o/llama.cpp/embedfile/embedfile backfill tmp.smol.db nyt_headlines headline
./o/embedfile/embedfile backfill tmp.smol.db nyt_headlines headline
```
2 changes: 1 addition & 1 deletion embedfile.mk
Original file line number Diff line number Diff line change
Expand Up @@ -11,7 +11,7 @@ $(MODELS_DIR): $(prefix)

.PHONY: models all

EMBEDFILE=./o/llama.cpp/embedfile/embedfile
EMBEDFILE=./o/embedfile/embedfile

dist/embedfile: $(EMBEDFILE)
cp $< $@
Expand Down
56 changes: 56 additions & 0 deletions embedfile/BUILD.mk
Original file line number Diff line number Diff line change
@@ -0,0 +1,56 @@
#-*-mode:makefile-gmake;indent-tabs-mode:t;tab-width:8;coding:utf-8-*-┐
#── vi: set noet ft=make ts=8 sw=8 fenc=utf-8 :vi ────────────────────┘

PKGS += LLAMA_CPP_EMBEDFILE

LLAMA_CPP_EMBEDFILE_FILES := $(wildcard embedfile/*)
LLAMA_CPP_EMBEDFILE_HDRS = $(filter %.h,$(LLAMA_CPP_EMBEDFILE_FILES))
LLAMA_CPP_EMBEDFILE_SRCS_C = $(filter %.c,$(LLAMA_CPP_EMBEDFILE_FILES))
LLAMA_CPP_EMBEDFILE_SRCS_CPP = $(filter %.cpp,$(LLAMA_CPP_EMBEDFILE_FILES))
LLAMA_CPP_EMBEDFILE_SRCS = $(LLAMA_CPP_EMBEDFILE_SRCS_C) $(LLAMA_CPP_EMBEDFILE_SRCS_CPP)

LLAMA_CPP_EMBEDFILE_OBJS = \
$(LLAMA_CPP_EMBEDFILE_SRCS_C:%.c=o/$(MODE)/%.o) \
$(LLAMA_CPP_EMBEDFILE_SRCS_CPP:%.cpp=o/$(MODE)/%.o)


o/$(MODE)/embedfile/embedfile.a: $(LLAMA_CPP_EMBEDFILE_SRCS_C)

o/$(MODE)/embedfile/sqlite-vec.o: embedfile/sqlite-vec.c
o/$(MODE)/embedfile/sqlite-vec.a: o/$(MODE)/embedfile/sqlite-vec.o

o/$(MODE)/embedfile/sqlite-csv.o: embedfile/sqlite-csv.c
o/$(MODE)/embedfile/sqlite-csv.a: o/$(MODE)/embedfile/sqlite-csv.o

o/$(MODE)/embedfile/sqlite-lines.o: embedfile/sqlite-lines.c
o/$(MODE)/embedfile/sqlite-lines.a: o/$(MODE)/embedfile/sqlite-lines.o

o/$(MODE)/embedfile/sqlite-lembed.o: embedfile/sqlite-lembed.c
o/$(MODE)/embedfile/sqlite-lembed.a: o/$(MODE)/embedfile/sqlite-lembed.o o/$(MODE)/llama.cpp/llama.cpp.a

o/$(MODE)/embedfile/shell.o: embedfile/shell.c
o/$(MODE)/embedfile/shell.a: o/$(MODE)/embedfile/shell.o

#o/$(MODE)/embedfile/embedfile.a: $(LLAMA_CPP_EMBEDFILE_OBJS)

o/$(MODE)/embedfile/shell.o: private CFLAGS += \
-DSQLITE_ENABLE_STMT_SCANSTATUS

o/$(MODE)/embedfile/embedfile: \
o/$(MODE)/embedfile/shell.a \
o/$(MODE)/embedfile/embedfile.o \
o/$(MODE)/embedfile/embedfile.1.asc.zip.o \
o/$(MODE)/llama.cpp/llama.cpp.a \
o/$(MODE)/third_party/sqlite/sqlite3.a \
o/$(MODE)/embedfile/sqlite-csv.a \
o/$(MODE)/embedfile/sqlite-vec.a \
o/$(MODE)/embedfile/sqlite-lines.a \
o/$(MODE)/embedfile/sqlite-lembed.a

$(LLAMA_CPP_EMBEDFILE_OBJS): private CCFLAGS += -DSQLITE_CORE

.PHONY: o/$(MODE)/embedfile
o/$(MODE)/embedfile: \
o/$(MODE)/embedfile/embedfile

$(LLAMA_CPP_EMBEDFILE_OBJS): llama.cpp/BUILD.mk embedfile/BUILD.mk
File renamed without changes.
File renamed without changes.
14 changes: 7 additions & 7 deletions llama.cpp/embedfile/embedfile.c → embedfile/embedfile.c
Original file line number Diff line number Diff line change
Expand Up @@ -2,13 +2,13 @@
// vi: set et ft=cpp ts=4 sts=4 sw=4 fenc=utf-8 :vi
#include "llama.cpp/llama.h"
#include "llamafile/version.h"
#include "llama.cpp/embedfile/embedfile.h"
#include "llama.cpp/embedfile/sqlite3.h"
#include "llama.cpp/embedfile/sqlite-vec.h"
#include "llama.cpp/embedfile/sqlite-lembed.h"
#include "llama.cpp/embedfile/sqlite-csv.h"
#include "llama.cpp/embedfile/sqlite-lines.h"
#include "llama.cpp/embedfile/shell.h"
#include "embedfile/embedfile.h"
#include "third_party/sqlite/sqlite3.h"
#include "embedfile/sqlite-vec.h"
#include "embedfile/sqlite-lembed.h"
#include "embedfile/sqlite-csv.h"
#include "embedfile/sqlite-lines.h"
#include "embedfile/shell.h"
#include <string.h>

#include <stdlib.h>
Expand Down
File renamed without changes.
2 changes: 1 addition & 1 deletion llama.cpp/embedfile/shell.c → embedfile/shell.c
Original file line number Diff line number Diff line change
Expand Up @@ -118,7 +118,7 @@ typedef unsigned short int u16;
#include <stdio.h>
#include <assert.h>
#include <math.h>
#include "sqlite3.h"
#include "third_party/sqlite/sqlite3.h"
typedef sqlite3_int64 i64;
typedef sqlite3_uint64 u64;
typedef unsigned char u8;
Expand Down
File renamed without changes.
Original file line number Diff line number Diff line change
Expand Up @@ -39,7 +39,7 @@
** Some extra debugging features (used for testing virtual tables) are available
** if this module is compiled with -DSQLITE_TEST.
*/
#include "sqlite3.h"
#include "third_party/sqlite/sqlite3.h"
//#include <sqlite3ext.h>
//SQLITE_EXTENSION_INIT1
#include <string.h>
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -2,7 +2,7 @@
#define SQLITE_CSV_H

//#include "sqlite3ext.h"
#include "sqlite3.h"
#include "third_party/sqlite/sqlite3.h"

#ifdef __cplusplus
extern "C" {
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -6,7 +6,7 @@
#include <string.h>
#include <time.h>

#include "sqlite3.h"
#include "third_party/sqlite/sqlite3.h"
//#include "sqlite3ext.h"
//SQLITE_EXTENSION_INIT1

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -2,7 +2,7 @@
#define SQLITE_LEMBED_H

//#include "sqlite3ext.h"
#include "sqlite3.h"
#include "third_party/sqlite/sqlite3.h"
#include "llama.cpp/llama.h"

#define SQLITE_LEMBED_VERSION "v0.0.1-alpha.8"
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
//#include "sqlite3ext.h"
#include "sqlite-lines.h"
#include "sqlite3.h"
#include "third_party/sqlite/sqlite3.h"
///SQLITE_EXTENSION_INIT1

#include <ctype.h>
Expand Down
Original file line number Diff line number Diff line change
@@ -1,4 +1,4 @@
#include "sqlite3.h"
#include "third_party/sqlite/sqlite3.h"
//#include "sqlite3ext.h"

#define SQLITE_LINES_VERSION "TODO"
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -19,7 +19,7 @@
//#include "sqlite3ext.h"
SQLITE_EXTENSION_INIT1
#else
#include "sqlite3.h"
#include "third_party/sqlite/sqlite3.h"
#endif

#ifndef UINT32_TYPE
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -4,7 +4,7 @@
#ifndef SQLITE_CORE
//#include "sqlite3ext.h"
#else
#include "sqlite3.h"
#include "third_party/sqlite/sqlite3.h"
#endif

#ifdef SQLITE_VEC_STATIC
Expand Down
File renamed without changes.
File renamed without changes.
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
#!/bin/bash

TESTS_DIR=$(dirname "$(realpath "$0")")
EMBEDFILE=$(realpath "$TESTS_DIR/../../../o/llama.cpp/embedfile/embedfile")
EMBEDFILE=$(realpath "$TESTS_DIR/../../../o/embedfile/embedfile")

"$EMBEDFILE" sh < $TESTS_DIR/env.sql > $TESTS_DIR/__snapshots__/env.out
4 changes: 2 additions & 2 deletions llama.cpp/BUILD.mk
Original file line number Diff line number Diff line change
Expand Up @@ -26,7 +26,7 @@ include llama.cpp/server/BUILD.mk
include llama.cpp/main/BUILD.mk
include llama.cpp/imatrix/BUILD.mk
include llama.cpp/quantize/BUILD.mk
include llama.cpp/embedfile/BUILD.mk
include embedfile/BUILD.mk
include llama.cpp/perplexity/BUILD.mk
include llama.cpp/llama-bench/BUILD.mk

Expand Down Expand Up @@ -90,7 +90,7 @@ $(LLAMA_CPP_OBJS): llama.cpp/BUILD.mk
o/$(MODE)/llama.cpp: \
o/$(MODE)/llama.cpp/main \
o/$(MODE)/llama.cpp/llava \
o/$(MODE)/llama.cpp/embedfile \
o/$(MODE)/embedfile \
o/$(MODE)/llama.cpp/server \
o/$(MODE)/llama.cpp/imatrix \
o/$(MODE)/llama.cpp/quantize \
Expand Down
52 changes: 26 additions & 26 deletions llama.cpp/embedfile/BUILD.mk
Original file line number Diff line number Diff line change
Expand Up @@ -3,7 +3,7 @@

PKGS += LLAMA_CPP_EMBEDFILE

LLAMA_CPP_EMBEDFILE_FILES := $(wildcard llama.cpp/embedfile/*)
LLAMA_CPP_EMBEDFILE_FILES := $(wildcard embedfile/*)
LLAMA_CPP_EMBEDFILE_HDRS = $(filter %.h,$(LLAMA_CPP_EMBEDFILE_FILES))
LLAMA_CPP_EMBEDFILE_SRCS_C = $(filter %.c,$(LLAMA_CPP_EMBEDFILE_FILES))
LLAMA_CPP_EMBEDFILE_SRCS_CPP = $(filter %.cpp,$(LLAMA_CPP_EMBEDFILE_FILES))
Expand All @@ -14,43 +14,43 @@ LLAMA_CPP_EMBEDFILE_OBJS = \
$(LLAMA_CPP_EMBEDFILE_SRCS_CPP:%.cpp=o/$(MODE)/%.o)


o/$(MODE)/llama.cpp/embedfile/embedfile.a: $(LLAMA_CPP_EMBEDFILE_SRCS_C)
o/$(MODE)/embedfile/embedfile.a: $(LLAMA_CPP_EMBEDFILE_SRCS_C)

o/$(MODE)/llama.cpp/embedfile/sqlite-vec.o: llama.cpp/embedfile/sqlite-vec.c
o/$(MODE)/llama.cpp/embedfile/sqlite-vec.a: o/$(MODE)/llama.cpp/embedfile/sqlite-vec.o
o/$(MODE)/embedfile/sqlite-vec.o: embedfile/sqlite-vec.c
o/$(MODE)/embedfile/sqlite-vec.a: o/$(MODE)/embedfile/sqlite-vec.o

o/$(MODE)/llama.cpp/embedfile/sqlite-csv.o: llama.cpp/embedfile/sqlite-csv.c
o/$(MODE)/llama.cpp/embedfile/sqlite-csv.a: o/$(MODE)/llama.cpp/embedfile/sqlite-csv.o
o/$(MODE)/embedfile/sqlite-csv.o: embedfile/sqlite-csv.c
o/$(MODE)/embedfile/sqlite-csv.a: o/$(MODE)/embedfile/sqlite-csv.o

o/$(MODE)/llama.cpp/embedfile/sqlite-lines.o: llama.cpp/embedfile/sqlite-lines.c
o/$(MODE)/llama.cpp/embedfile/sqlite-lines.a: o/$(MODE)/llama.cpp/embedfile/sqlite-lines.o
o/$(MODE)/embedfile/sqlite-lines.o: embedfile/sqlite-lines.c
o/$(MODE)/embedfile/sqlite-lines.a: o/$(MODE)/embedfile/sqlite-lines.o

o/$(MODE)/llama.cpp/embedfile/sqlite-lembed.o: llama.cpp/embedfile/sqlite-lembed.c
o/$(MODE)/llama.cpp/embedfile/sqlite-lembed.a: o/$(MODE)/llama.cpp/embedfile/sqlite-lembed.o o/$(MODE)/llama.cpp/llama.cpp.a
o/$(MODE)/embedfile/sqlite-lembed.o: embedfile/sqlite-lembed.c
o/$(MODE)/embedfile/sqlite-lembed.a: o/$(MODE)/embedfile/sqlite-lembed.o o/$(MODE)/llama.cpp/llama.cpp.a

o/$(MODE)/llama.cpp/embedfile/shell.o: llama.cpp/embedfile/shell.c
o/$(MODE)/llama.cpp/embedfile/shell.a: o/$(MODE)/llama.cpp/embedfile/shell.o
o/$(MODE)/embedfile/shell.o: embedfile/shell.c
o/$(MODE)/embedfile/shell.a: o/$(MODE)/embedfile/shell.o

#o/$(MODE)/llama.cpp/embedfile/embedfile.a: $(LLAMA_CPP_EMBEDFILE_OBJS)
#o/$(MODE)/embedfile/embedfile.a: $(LLAMA_CPP_EMBEDFILE_OBJS)

o/$(MODE)/llama.cpp/embedfile/shell.o: private CFLAGS += \
o/$(MODE)/embedfile/shell.o: private CFLAGS += \
-DSQLITE_ENABLE_STMT_SCANSTATUS

o/$(MODE)/llama.cpp/embedfile/embedfile: \
o/$(MODE)/llama.cpp/embedfile/shell.a \
o/$(MODE)/llama.cpp/embedfile/embedfile.o \
o/$(MODE)/llama.cpp/embedfile/embedfile.1.asc.zip.o \
o/$(MODE)/embedfile/embedfile: \
o/$(MODE)/embedfile/shell.a \
o/$(MODE)/embedfile/embedfile.o \
o/$(MODE)/embedfile/embedfile.1.asc.zip.o \
o/$(MODE)/llama.cpp/llama.cpp.a \
o/$(MODE)/third_party/sqlite/sqlite3.a \
o/$(MODE)/llama.cpp/embedfile/sqlite-csv.a \
o/$(MODE)/llama.cpp/embedfile/sqlite-vec.a \
o/$(MODE)/llama.cpp/embedfile/sqlite-lines.a \
o/$(MODE)/llama.cpp/embedfile/sqlite-lembed.a
o/$(MODE)/embedfile/sqlite-csv.a \
o/$(MODE)/embedfile/sqlite-vec.a \
o/$(MODE)/embedfile/sqlite-lines.a \
o/$(MODE)/embedfile/sqlite-lembed.a

$(LLAMA_CPP_EMBEDFILE_OBJS): private CCFLAGS += -DSQLITE_CORE

.PHONY: o/$(MODE)/llama.cpp/embedfile
o/$(MODE)/llama.cpp/embedfile: \
o/$(MODE)/llama.cpp/embedfile/embedfile
.PHONY: o/$(MODE)/embedfile
o/$(MODE)/embedfile: \
o/$(MODE)/embedfile/embedfile

$(LLAMA_CPP_EMBEDFILE_OBJS): llama.cpp/BUILD.mk llama.cpp/embedfile/BUILD.mk
$(LLAMA_CPP_EMBEDFILE_OBJS): llama.cpp/BUILD.mk embedfile/BUILD.mk

0 comments on commit 6947bfa

Please sign in to comment.