ai-station/.venv/lib/python3.12/site-packages/litellm/proxy
DFFM-maker 2705b5219d Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
..
__pycache__ Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
_experimental Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
analytics_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
anthropic_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
auth Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
batches_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
client Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
common_utils Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
config_management_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
credential_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
custom_hooks Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
db Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
discovery_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
example_config_yaml Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
fine_tuning_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
google_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
guardrails Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
health_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
hooks Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
image_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
management_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
management_helpers Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
middleware Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
openai_files_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
pass_through_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
prompts Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
public_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
rerank_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
response_api_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
spend_tracking Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
swagger Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
test_prompts Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
types_utils Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
ui_crud_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
vector_store_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
vertex_ai_endpoints Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
.gitignore Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
README.md Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
__init__.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
_logging.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
_new_new_secret_config.yaml Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
_new_secret_config.yaml Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
_super_secret_config.yaml Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
_types.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
cached_logo.jpg Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
caching_routes.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
common_request_processing.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
custom_auth_auto.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
custom_prompt_management.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
custom_sso.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
custom_validate.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
health_check.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
lambda.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
litellm.log Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
litellm_pre_call_utils.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
llamaguard_prompt.txt Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
logo.jpg Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
mcp_tools.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
model_config.yaml Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
openapi.json Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
post_call_rules.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
prisma_migration.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
proxy_cli.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
proxy_config.yaml Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
proxy_server.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
route_llm_request.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
schema.prisma Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
start.sh Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00
utils.py Primo salvataggio dopo il ripristino 2025-12-25 15:54:33 +01:00

README.md

litellm-proxy

A local, fast, and lightweight OpenAI-compatible server to call 100+ LLM APIs.

usage

$ pip install litellm
$ litellm --model ollama/codellama 

#INFO: Ollama running on http://0.0.0.0:8000

replace openai base

import openai # openai v1.0.0+
client = openai.OpenAI(api_key="anything",base_url="http://0.0.0.0:8000") # set proxy to base_url
# request sent to model set on litellm proxy, `litellm --model`
response = client.chat.completions.create(model="gpt-3.5-turbo", messages = [
    {
        "role": "user",
        "content": "this is a test request, write a short poem"
    }
])

print(response)

See how to call Huggingface,Bedrock,TogetherAI,Anthropic, etc.


Folder Structure

Routes

  • proxy_server.py - all openai-compatible routes - /v1/chat/completion, /v1/embedding + model info routes - /v1/models, /v1/model/info, /v1/model_group_info routes.
  • health_endpoints/ - /health, /health/liveliness, /health/readiness
  • management_endpoints/key_management_endpoints.py - all /key/* routes
  • management_endpoints/team_endpoints.py - all /team/* routes
  • management_endpoints/internal_user_endpoints.py - all /user/* routes
  • management_endpoints/ui_sso.py - all /sso/* routes