From dd104e118b9814d4ba6e7dff968d436377c4c52c Mon Sep 17 00:00:00 2001 From: oldwinter Date: Wed, 9 Aug 2023 17:18:01 +0800 Subject: [PATCH] test3 --- ...57\344\273\266\347\261\273\345\236\213.md" | 14 ----- ...34\346\265\201\350\241\214\350\257\255.md" | 22 ------- ...57\345\245\275\347\224\237\346\204\217.md" | 27 -------- ...66\351\227\264\350\276\223\345\207\272.md" | 15 ----- tmp-test-gpt-cr/obsidian.py | 62 +++++++++++++++++++ ...4\350\257\201-\347\254\224\350\256\260.md" | 0 6 files changed, 62 insertions(+), 78 deletions(-) delete mode 100644 "tmp-test-gpt-cr/2022\345\271\264\345\211\215\345\220\216\357\274\214\345\205\267\346\234\211\345\217\230\351\235\251\346\200\247\347\232\204\345\210\233\346\226\260\347\254\224\350\256\260\350\275\257\344\273\266\347\261\273\345\236\213.md" delete mode 100644 "tmp-test-gpt-cr/2022\345\271\264\345\272\246\347\275\221\347\273\234\346\265\201\350\241\214\350\257\255.md" delete mode 100644 "tmp-test-gpt-cr/2023\345\271\264\345\205\261\344\272\253\345\205\205\347\224\265\345\256\235\345\234\250\346\262\241\346\234\211\351\223\272\350\256\276\347\232\204\345\234\260\346\226\271\357\274\214\350\277\230\346\230\257\344\270\215\346\230\257\345\245\275\347\224\237\346\204\217.md" delete mode 100644 "tmp-test-gpt-cr/80%\346\227\266\351\227\264\350\276\223\345\205\245\357\274\21420%\346\227\266\351\227\264\350\276\223\345\207\272.md" create mode 100644 tmp-test-gpt-cr/obsidian.py delete mode 100644 "tmp-test-gpt-cr/\351\230\277\351\207\214\344\272\221-\344\272\221\345\216\237\347\224\237-ACA\350\256\244\350\257\201-\347\254\224\350\256\260.md" diff --git "a/tmp-test-gpt-cr/2022\345\271\264\345\211\215\345\220\216\357\274\214\345\205\267\346\234\211\345\217\230\351\235\251\346\200\247\347\232\204\345\210\233\346\226\260\347\254\224\350\256\260\350\275\257\344\273\266\347\261\273\345\236\213.md" "b/tmp-test-gpt-cr/2022\345\271\264\345\211\215\345\220\216\357\274\214\345\205\267\346\234\211\345\217\230\351\235\251\346\200\247\347\232\204\345\210\233\346\226\260\347\254\224\350\256\260\350\275\257\344\273\266\347\261\273\345\236\213.md" deleted file mode 100644 index f631002a3..000000000 --- "a/tmp-test-gpt-cr/2022\345\271\264\345\211\215\345\220\216\357\274\214\345\205\267\346\234\211\345\217\230\351\235\251\346\200\247\347\232\204\345\210\233\346\226\260\347\254\224\350\256\260\350\275\257\344\273\266\347\261\273\345\236\213.md" +++ /dev/null @@ -1,14 +0,0 @@ ---- -title: 2022年前后，具有变革性的创新笔记软件类型 -date created: 2023-02-27 -date modified: 2023-03-14 ---- - -新兴的笔记软件，基本都有block思维、link思维在里面，只是着重点不同，比如是重协作还是重个人，重block还是重link。可划分为3类： - -- [[notion-like笔记软件]] - - 模块化笔记 -- [[roam-like笔记软件]] - - 双链笔记 -- [[hepta-like笔记软件]] - - 视觉化笔记（白板型笔记） diff --git "a/tmp-test-gpt-cr/2022\345\271\264\345\272\246\347\275\221\347\273\234\346\265\201\350\241\214\350\257\255.md" "b/tmp-test-gpt-cr/2022\345\271\264\345\272\246\347\275\221\347\273\234\346\265\201\350\241\214\350\257\255.md" deleted file mode 100644 index 613e863e9..000000000 --- "a/tmp-test-gpt-cr/2022\345\271\264\345\272\246\347\275\221\347\273\234\346\265\201\350\241\214\350\257\255.md" +++ /dev/null @@ -1,22 +0,0 @@ ---- -title: 2022年度网络流行语 -date created: 2022-12-28 -date modified: 2023-03-14 ---- - -- [[🐤小镇做题家]] -- [[🐤科技与狠活]] -- [[🐤刘畊宏女孩]] -- [[🐤王心凌男孩]] -- [[🐤我真的会谢]] -- [[🐤大冤种]] -- [[🐤PUA]] -- [[🐤雪糕刺客]] -- [[🐤老六]] -- [[🐤无所谓，我会出手]] -- [[🐤那一年，我双手插兜，不知道什么叫做对手]] -- [[🐤新赛道]] -- [[🐤精神内耗]] -- [[🐤天花板]] -- [[🐤拿捏]] -- [[🐤沉浸式]] diff --git "a/tmp-test-gpt-cr/2023\345\271\264\345\205\261\344\272\253\345\205\205\347\224\265\345\256\235\345\234\250\346\262\241\346\234\211\351\223\272\350\256\276\347\232\204\345\234\260\346\226\271\357\274\214\350\277\230\346\230\257\344\270\215\346\230\257\345\245\275\347\224\237\346\204\217.md" "b/tmp-test-gpt-cr/2023\345\271\264\345\205\261\344\272\253\345\205\205\347\224\265\345\256\235\345\234\250\346\262\241\346\234\211\351\223\272\350\256\276\347\232\204\345\234\260\346\226\271\357\274\214\350\277\230\346\230\257\344\270\215\346\230\257\345\245\275\347\224\237\346\204\217.md" deleted file mode 100644 index 84ba76767..000000000 --- "a/tmp-test-gpt-cr/2023\345\271\264\345\205\261\344\272\253\345\205\205\347\224\265\345\256\235\345\234\250\346\262\241\346\234\211\351\223\272\350\256\276\347\232\204\345\234\260\346\226\271\357\274\214\350\277\230\346\230\257\344\270\215\346\230\257\345\245\275\347\224\237\346\204\217.md" +++ /dev/null @@ -1,27 +0,0 @@ ---- -title: 2023年共享充电宝在没有铺设的地方，还是不是好生意 -date created: 2023-03-02 -date modified: 2023-03-14 ---- - -共享充电宝核心： - -- 铺设密度，有地方借，得有地方可以还。 -- 所以需要在资本狂热的时候做，有更多热钱可以快速铺设。 - -考虑一个点： - -- 为什么这个地方没共享充电宝，美团他们为啥不铺设进去。 - -扩展难度： - -- 先2B，再2C -- 意味着扩充，铺设难度大，需要人去一家家谈，地推人工成本也不低。 - -未来： - -- 中间态的生意，不容易被资本市场看好，容易被突如其来的电池续航、快充等变革，直接把这个市场消灭了。 - -当初为什么火热？ - -- 微信支付宝大厂抢夺支付入口，发展二维码，所以大力注资这些共享行业。 diff --git "a/tmp-test-gpt-cr/80%\346\227\266\351\227\264\350\276\223\345\205\245\357\274\21420%\346\227\266\351\227\264\350\276\223\345\207\272.md" "b/tmp-test-gpt-cr/80%\346\227\266\351\227\264\350\276\223\345\205\245\357\274\21420%\346\227\266\351\227\264\350\276\223\345\207\272.md" deleted file mode 100644 index d20e75ee0..000000000 --- "a/tmp-test-gpt-cr/80%\346\227\266\351\227\264\350\276\223\345\205\245\357\274\21420%\346\227\266\351\227\264\350\276\223\345\207\272.md" +++ /dev/null @@ -1,15 +0,0 @@ ---- -date created: 2022-07-21 -date modified: 2023-03-14 -title: 80%时间输入，20%时间输出 ---- - -那些专职做培训的人，脱离企业实际的工作环境后，很快会陷入输出瓶颈，勉强输出。 - -没有生产实践作为输入依托，写出来的东西全都是看书看别人的东西纸上谈兵出来的东西，这类所谓生产力专家，不太值得学习。 - -当然，真正还在实际工作环境的优秀的人，一般也都非常忙，很难输出高质量可读的文章或视频给大众学习，所以遇到这类资源，能珍惜一个是一个。 - -对我个人而言，曾经陷入过一直输入，从未输出的困境，比如本科和研究生那会儿都读了好几百本书，却从来没有去输出文章或实践总结，导致很多都真的是完完全全白看了。 - -自我警惕。个人目标就是用学习的20%的时间输出，80%的时间输入。 diff --git a/tmp-test-gpt-cr/obsidian.py b/tmp-test-gpt-cr/obsidian.py new file mode 100644 index 000000000..3ebb80c78 --- /dev/null +++ b/tmp-test-gpt-cr/obsidian.py @@ -0,0 +1,62 @@ +## 1.终端里设置环境变量 + +# export OPENAI_API_TYPE=azure +# export OPENAI_API_VERSION=2023-05-15 +# export OPENAI_API_BASE=https://ingtubeopenai.openai.azure.com +# export OPENAI_API_KEY=ea31775d794e47beb2f6cd479817ce81 + +# export PINECONE_API_KEY=d0e32935-ca46-4a82-be38-34cc17dbdcce +# export PINECONE_ENV=gcp-starter + +## 2.加载原始csv数据 + +# llm(documents1[0].page_content) + + +from langchain.document_loaders import ObsidianLoader + +loader = ObsidianLoader("/Users/yingtu/知识库/ingtube") +documents = loader.load() + +## 3.embddings对象模型初始化，实际调用在后面。 +from langchain.embeddings import OpenAIEmbeddings +embeddings = OpenAIEmbeddings( + client="", + model="text-embedding-ada-002", + deployment="ingtube-ada", + # input="texts", + # chunk_size=1 + show_progress_bar=True, +) + +## 4.pinecone初始化 +import pinecone +import os +# PINECONE_API_KEY="d0e32935-ca46-4a82-be38-34cc17dbdcce" +# PINECONE_ENV="gcp-starter" + +# initialize pinecone + +pinecone.init( + api_key=os.getenv('PINECONE_API_KEY'), # find at app.pinecone.io + environment=os.getenv('PINECONE_ENV'), # next to api key in console +) + +index_name = "ingtube-test" + +if index_name not in pinecone.list_indexes(): + pinecone.create_index( + name=index_name, + metric='cosine', + dimension=1536 +) + + +# 将documents按照每16个元素为一组进行分割 +chunks = [documents[i:i + 16] for i in range(0, len(documents), 16)] + +from langchain.vectorstores import Pinecone +## 5.循环调用Pinecone.from_documents方法，从embedding接口生成数据，同时存储向量数据至pinecone +for chunk in chunks: + Pinecone.from_documents(chunk, embeddings, index_name=index_name) + diff --git "a/tmp-test-gpt-cr/\351\230\277\351\207\214\344\272\221-\344\272\221\345\216\237\347\224\237-ACA\350\256\244\350\257\201-\347\254\224\350\256\260.md" "b/tmp-test-gpt-cr/\351\230\277\351\207\214\344\272\221-\344\272\221\345\216\237\347\224\237-ACA\350\256\244\350\257\201-\347\254\224\350\256\260.md" deleted file mode 100644 index e69de29bb..000000000