Cline
litellm-1 | 2025/04/18 17:30:41 DEBUG mlflow.tracing.utils: Failed to get attribute mlflow.experimentId with from span _Span(name="litellm-acompletion", context=SpanContext(trace_id=0xe6cbe5b4e9802359f4aba821e6443add, span_id=0xecf2926cba77bf4c, trace_flags=0x01, trace_state=[], is_remote=False)).
litellm-1 | Traceback (most recent call last):
litellm-1 | File "/usr/lib/python3.13/site-packages/mlflow/tracing/utils/__init__.py", line 201, in get_otel_attribute
litellm-1 | return json.loads(span.attributes.get(key))
litellm-1 | ~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^
litellm-1 | File "/usr/lib/python3.13/json/__init__.py", line 339, in loads
litellm-1 | raise TypeError(f'the JSON object must be str, bytes or bytearray, '
litellm-1 | f'not {s.__class__.__name__}')
litellm-1 | TypeError: the JSON object must be str, bytes or bytearray, not NoneTypeManaged MLflow を利用できるようにした上で Prompt Caching を有効化し、Role 認証する Config の作成が今後必要です。
mlflow_callback.py で boto3 をアクセスキーで利用しているため、Role 認証の設定を試す必要があります。
Cline
remote ssh 試す
devbox 試す
PR: application inference profile
LiteLLM 経由で langfuse で可視化
q dev cli との使い分け
prompt cache with LiteLLM
cli, cdk, ssm plugin を自動インストールするスクリプト
web search mcp install
sonnet 3.7 failover が動かないので直す
top readme: 権限見直す
LiteLLM の詳細設定の反映
PR: LiteLLM 経由だと Application Inference Profile を設定できないので PR 出したい
PR: コード受け入れ率、コード生成数、を取りたい
LitelLM 経由だと $0 になっちゃうのでドルを裏で取りたい
docker logs が debug でログどんどん貯まるので info に変えてね
PR: コード行数が大量な時に開発がしづらい
aws サービスを正式名称にする
litellm 認証, https://docs.litellm.ai/docs/proxy/custom_auth, 認証時の情報をログに渡す
yaml と yml の表記ゆれ
.clinerules の配置と説明追加
langfuse の利用方法追加
LLMPerf
SSO 認証
https://github.com/aws-samples/genai-gateway、https://github.com/aws-samples/deploy-langfuse-on-ecs-with-fargate
litelllm のパススルー機能
cline rule に mcp を活用するように指示
aws mcp の kb 対応
web search, クレカ登録しなくても検索できる oss
langfuse sdk に cache_read_input_tokens 指定、callback で設定どうなるんだっけ
mlflow span 関連エラーの問題
Managed MLflow を利用できるようにした上で Prompt Caching を有効化し、Role 認証する Config の作成が今後必要です。
mlflow_callback.py で boto3 をアクセスキーで利用しているため、Role 認証の設定を試す必要があります。