llama.cpp: LLM inference in C/C++

#include "llama.h"
#include <iostream>
#include <string>
#include <vector>

int main() {
    // Initialize llama backend
    llama_backend_init();
    
    // Set up model parameters
    llama_model_params model_params = llama_model_default_params();
    model_params.n_gpu_layers = 0; // CPU only
    
    // Load the model
    llama_model* model = llama_load_model_from_file("model.gguf", model_params);
    if (!model) {
        std::cerr << "Failed to load model" << std::endl;
        return 1;
    }
    
    // Create context
    llama_context_params ctx_params = llama_context_default_params();
    ctx_params.n_ctx = 2048;
    ctx_params.seed = 1234;
    
    llama_context* ctx = llama_new_context_with_model(model, ctx_params);
    
    // Tokenize input
    std::string prompt = "Hello, how are you?";
    std::vector<llama_token> tokens(prompt.length() + 1);
    int n_tokens = llama_tokenize(model, prompt.c_str(), prompt.length(), tokens.data(), tokens.size(), true, false);
    tokens.resize(n_tokens);
    
    // Generate response
    for (int i = 0; i < tokens.size(); ++i) {
        if (llama_decode(ctx, llama_batch_get_one(tokens.data() + i, 1, i, 0))) {
            std::cerr << "Failed to decode" << std::endl;
            break;
        }
    }
    
    // Sample next token
    llama_token new_token = llama_sampler_sample(llama_sampler_init_greedy(), ctx, -1);
    std::cout << "Generated token: " << new_token << std::endl;
    
    // Cleanup
    llama_free(ctx);
    llama_free_model(model);
    llama_backend_free();
    
    return 0;
}